Externe Sicherheitsprüfer sehen ein KI-Modell meist erst spät, über eine API und unter Zeitdruck. OpenAI lässt nun vier Gruppen im Unternehmen arbeiten, mit einem Zugang nahe an dem der eigenen Forschenden, während Training und interner Nutzung. Die erste Phase umfasst Apollo Research, METR, Transluce und Goodfire.
Jede Gruppe hat einen anderen Auftrag. METR sucht nach fehlausgerichtetem Verhalten im bisher größten Reinforcement-Learning-Lauf von OpenAI, auch nach Fehlern, die bestehende Tests und Überwachung übersehen haben könnten, und setzt im vereinbarten Rahmen eigene Schwerpunkte. Apollo Research prüft, ob Modelle heimlich gegen die Absichten ihrer Entwickler arbeiten könnten und ob OpenAIs Schutzmechanismen das erkennen würden, und bewertet dazu vier Behauptungen in zwei Stufen. Transluce prüft Qualität und Abdeckung der Alignment-Tests nach dem Training, mit einer breiteren Folgeprüfung von etwa acht Wochen Anfang 2027. Goodfire bettet Interpretierbarkeitsforschende ein, um das Innere der Modelle zu untersuchen, vor allem für OpenAIs eigene Forschende, veröffentlicht aber, was es lernt.
Der Zugang kann unveröffentlichte Modelle und Checkpoints, Trainingsdaten, Überwachungsprotokolle und Mitarbeitende umfassen. Wer mit sensiblem Material arbeitet, tut das vor Ort auf OpenAI-Geräten. Sind Gewichte oder Architektur zu sensibel, kann OpenAI die Prüfer stattdessen mit eigenen Forschenden zusammenarbeiten lassen. Das Safety and Security Committee im Vorstand der OpenAI Foundation erhält ungeschwärzte Berichte, kann vertraulich mit den Prüfern sprechen und entscheidet Streitfälle, die die Safety Advisory Group und die Unternehmensführung nicht lösen.
Hintergrund ist der White House Accord on Super Intelligence, in dem Labore unabhängige Prüfungen ihrer Sicherheitskontrollen zugesagt haben. Anthropic gab METR im Oktober einen ähnlichen, mitarbeiterähnlichen Zugang, und METRs 11-wöchige Prüfung dort ist bereits veröffentlicht. OpenAIs Version ist bei der Zahl der Gruppen breiter und baut auf dem Überwachungssystem auf, das das Unternehmen im vergangenen Monat beschrieben hat.
Der Haken steckt im Kleingedruckten. OpenAI behält sich vor, vertrauliche Informationen zu schwärzen und Verzögerungen bei der Veröffentlichung zu verlangen. Gespräche mit Mitarbeitenden sind vertraulich; Prüfer dürfen nur Aussagen veröffentlichen, die OpenAI bestätigt, oder angeben, dass OpenAI die Bestätigung verweigert hat. Regeln zu Interessenkonflikten und Karenzzeiten werden noch ausgearbeitet, und eine breitere Überwachungsprüfung durch METR hängt von einer Einigung über den Umfang ab. Die Unabhängigkeit wird man daran messen, was in den ersten Berichten wirklich steht und wie viel davon geschwärzt ist.