KI-Labore reden viel darüber, ein Modell zu stoppen, das sich danebenbenimmt, und viel weniger darüber, wie der Stoppknopf tatsächlich funktioniert. OpenAI hat nun seinen beschrieben: Control Room, einen zentralen Dienst, der für jeden Forschungsjob in der Trainings- und Evaluierungsinfrastruktur die Modellausgabe abschalten kann, im schlechtesten Fall nach eigenen Angaben 35 Sekunden nach der Entscheidung.
Das Design ist leicht zu erklären. Jeder Forschungsjob mit agentischer Inferenz muss sich bei Control Room anmelden, eine Job-ID erhalten und mit einem genehmigten Safety Case verknüpft sein. Fordert der Job Tokens von einem Modell an, gibt er diese ID an die Inferenz-Engine weiter, die Software, die das Modell auf den GPUs ausführt. Bevor sie antwortet, fragt die Engine bei Control Room nach, ob der Job noch laufen darf. Hat ihn jemand gestoppt, wird die Anfrage abgelehnt und keine weitere Ausgabe erzeugt, auch wenn der Code des Jobs selbst weiterläuft. Ein Stopp gilt für jedes Modell auf jeder Engine, die der Job aufruft.
Zwei Entscheidungen fallen auf. Erstens setzt OpenAI die Prüfung bewusst in die Inferenzschicht statt in den Job-Code der Forschenden, der sich ständig ändert und fehlerhaft sein kann. Über die gesamte Forschung gibt es nur wenige Inferenz-Codepfade, ein Kontrollpunkt deckt also alle ab, und das Unternehmen sucht nach eigenen Angaben zusätzlich automatisch nach abtrünnigen Engines, die die Prüfung umgehen. Zweitens schlägt das System geschlossen fehl: Fällt Control Room aus, durch einen Fehler, absichtliches Abschalten oder Manipulation, wird jede Inferenzanfrage abgelehnt, bis der Dienst zurück ist. Das galt bei Veröffentlichung für alle Frontier-Forschungsjobs und sollte binnen Tagen den Rest erreichen.
Auslöser kann ein Mensch oder eine Maschine sein. Laut OpenAI werden alle Frontier-Läufe mit bestärkendem Lernen von einem Monitor-Modell überwacht, das prüft, was das trainierte Modell tut; ein jüngerer DNS-bezogener Vorfall wurde so entdeckt, und der Monitor kann Control Room nun direkt anweisen, den Job zu stoppen.
Die Grenzen sollte man benennen. Die Verzögerung von 35 Sekunden entsteht, weil die Autorisierungsprüfungen zwischengespeichert werden, um den Verkehr zu bewältigen; OpenAI arbeitet nach eigener Aussage daran, sie auf null zu senken. Für einen schnell handelnden Agenten ist eine halbe Minute nicht wenig. Control Room deckt nur die Forschung ab, da OpenAIs öffentliche Bereitstellung nach Angaben des Unternehmens bereits eigene Abschaltwerkzeuge hat. Und alles beruht auf Selbstauskunft, ohne externe Prüfung, wie oft der Schalter umgelegt wurde oder wie er sich unter echtem Druck bewährt hat.