Wer eine Website betreibt und ihren Inhalt aus KI-Trainingsdaten heraushalten will, musste bisher für den Crawler jeder Firma eine eigene Regel schreiben und diese Liste aktuell halten. OpenAI sagt, es werde ein einziges gemeinsames Signal in robots.txt achten, mit dem eine Seite einmal angeben kann, ob ihr Inhalt für das grundlegende Training generativer KI genutzt werden darf, der Schalter, um den Publisher gebeten haben.
Das Signal wird in der AI-Preferences-Arbeitsgruppe der Internet Engineering Task Force entworfen, es ist also ein offener Standard und keine weitere proprietäre Kennzeichnung einer Firma. Das zählt: Ein Publisher setzt eine Präferenz, und jeder teilnehmende Anbieter, der sie liest, soll sie achten, statt des heutigen Flickwerks, bei dem man einzelne Crawler nacheinander benennt. OpenAI sagt, andere Teilnehmer der Arbeitsgruppe gingen in derselben Ankündigung dieselbe Verpflichtung ein, und es plant, das Signal in den kommenden Monaten umzusetzen.
Für Seitenbetreiber ist dies die richtige Form der Lösung. Einen neutralen IETF-Entwurf zu stützen ist besser für das offene Web, als dass jede KI-Firma ihren eigenen Opt-out-Mechanismus erfindet, denn ein gemeinsames Vokabular ist etwas, womit ein kleiner Publisher tatsächlich Schritt halten kann. OpenAI betont auch, dass das neue Signal die bestehenden Steuerungen je Crawler nicht ersetzt, die weiter funktionieren, nichts, was man schon hat, hört also auf zu arbeiten.
Bei den Grenzen ist Ehrlichkeit nötig, und sie sind bedeutsam. Das Signal hilft nur, wenn die großen Crawler es tatsächlich übernehmen, und das ganze Schema ist freiwillig, ohne Durchsetzung dahinter. OpenAIs Beitrag nennt keinen der anderen Teilnehmer, es ist also noch unklar, wie breit die Koalition ist oder ob die am aggressivsten scrapenden Crawler dabei sind. Ein Standard, den nur einige Firmen achten, lässt dieselben Lücken wie das alte Flickwerk.
Der praktische Rat folgt daraus. Dies ist eine echte Verbesserung der Richtung und begrüßenswert, aber es ist ein Versprechen über einen Entwurf, keine funktionierende Steuerung, auf die man sich heute verlassen kann. Seitenbetreiber sollten ihre bestehenden Crawler-Sperren beibehalten und auf die Umsetzungsdetails achten, die OpenAI teilen will, statt allein auf das gemeinsame Signal umzustellen, bevor es wirklich aktiv und breit geachtet ist. Die Idee ist solide; ob sie greift, hängt ganz davon ab, wer mitmacht.