웹사이트를 운영하면서 그 콘텐츠를 AI 학습 세트에서 빼고 싶다면, 지금까지는 각 회사의 크롤러마 다 별도의 규칙을 쓰고 그 목록을 최신으로 유지해야 했습니다. OpenAI는 robots.txt 안의 하나의 공유 신호를 존중하겠다고 밝힙니다. 이는 사이트가 자신의 콘텐츠를 생성 AI의 기초 학습에 써도 되는지를 한 번에 표명하게 해 주는 것으로, 바로 퍼블리셔들이 요구해 온 스위치입니다.
이 신호는 Internet Engineering Task Force의 AI Preferences 워킹 그룹에서 초안으로 작성되고 있어, 어느 회사의 독점 표식이 아니라 열린 표준입니다. 이것이 중요합니다. 퍼블리셔가 하나의 선호를 설정하면, 그것을 읽는 모든 참여 공급자가 그것을 존중해야 하며, 크롤러를 하나씩 지목하는 지금의 누더기와 다릅니다. OpenAI는 워킹 그룹의 다른 참여자들도 같은 발표에서 같은 약속을 한다고 하며, 앞으로 몇 달 안에 이 신호를 구현할 계획이라고 합니다.
사이트 소유자에게 이것은 올바른 형태의 해법입니다. 중립적인 IETF 초안을 지지하는 것은 각 AI 회사가 자체 거부 장치를 발명하는 것보다 열린 웹에 더 낫습니다. 공유된 어휘라면 작은 퍼블리셔도 실제로 따라갈 수 있기 때문입니다. OpenAI는 또한 새 신호가 기존의 크롤러별 제어를 대체하지 않으며 그것들은 계속 작동하므로, 이미 갖춘 것이 멈추지 않는다고 강조합니다.
정직함이 필요한 곳은 한계이며, 그것은 상당합니다. 이 신호는 큰 크롤러들이 실제로 채택해야만 도움이 되고, 전체 방식은 자발적이어서 뒤에 강제력이 없습니다. OpenAI의 글은 다른 참여자를 한 곳도 거명하지 않아, 연합이 얼마나 넓은지, 가장 공격적으로 긁는 크롤러들이 합류했는지는 아직 분명하지 않습니다. 일부 회사만 존중하는 표준은 옛 누더기와 같은 구멍을 남깁니다.
실용적인 조언은 거기서 나옵니다. 이것은 방향으로는 진짜 개선이고 환영할 만하지만, 초안에 대한 약속이지 오늘 믿을 수 있는 작동하는 제어가 아닙니다. 사이트 소유자는 기존의 크롤러별 차단을 그대로 두고, OpenAI가 공유하겠다고 한 구현 세부 사항을 지켜봐야 하며, 그것이 실제로 가동되고 널리 존중되기 전까지 공유 신호만으로 바꾸지 말아야 합니다. 발상은 견실하지만, 효력이 있는지는 전적으로 누가 합류하느냐에 달려 있습니다.