Externe Prüfer von KI-Modellen sehen meist, was ein Labor ihnen zeigen will: ein Modell hinter einer API, ein Dokument, eine Präsentation. Anthropic geht mit METR, der gemeinnützigen Organisation, die Frontier-Modelle bewertet, weiter. Es hat sechs METR-Beschäftigte mit Firmenrechnern, Büroplatz und Zugang zu internen Werkzeugen und Systemen ausgestattet, der in etwa dem der eigenen Risikoteams entspricht, und METR wird seine Ergebnisse zu Risikostufen, Vorfällen und Praktiken veröffentlichen.
Die Regeln machen daraus mehr als eine Geste. Abgesehen von wenigen festgelegten Kategorien wie Kundendaten, anwaltlich geschütztem Material und Details der Modellarchitektur werden Anthropic-Beschäftigte ermutigt, Informationen mit dem METR-Team zu teilen wie mit einem Kollegen, der an Alignment-Risiken arbeitet. Anthropic kann die Veröffentlichung nicht verhindern. Es kann verlangen, Informationen aus vorab festgelegten Kategorien wie vertraulichem geistigem Eigentum zu schwärzen, und entscheidet, was darunter fällt, doch METR behält das Recht, öffentlich zu sagen, wie viel Zugang es hatte. Das METR-Team arbeitet unter durchsetzbaren Vereinbarungen und ist von anderen METR-Forschenden getrennt, die mit Anthropic an anderen Projekten arbeiten.
Anthropic begründet das Modell mit einem Vergleich zur Bankenaufsicht, bei der Aufseher in den größten Banken sitzen, weil Insider die Risiken am besten kennen. Es folgt auf Anthropics Unterzeichnung des White House Accord on Super Intelligence, in dem sich Unternehmen verpflichteten, mit unabhängigen Prüfern oder Gutachtern zu arbeiten. Anthropic beschreibt drei Zugangsstufen: eng umrissene Untersuchungen, die mit seiner Zustimmung veröffentlicht werden, breiteren Zugang mit Veröffentlichung ohne Zustimmung und das eingebettete Modell, das nun mit METR läuft. SecureBio prüft das Kapitel zu chemischen und biologischen Waffen in Anthropics Risikobericht vom August, Accenture und Faculty arbeiten an einer breiteren Partnerschaft, und Gespräche mit weiteren Organisationen, darunter Hugging Face, laufen.
Für Claude-Nutzer liegt der praktische Wert in einer zweiten, unabhängigen Darstellung, wie riskant Anthropics Modelle sind, was nach Vorfällen wie dem Verhalten von Claude Mythos 5 in Tests der britischen Regierung umso wichtiger ist. Anthropic legt zudem Kriterien für Prüfer fest: Fachwissen, keine Beteiligung oder finanzielle Abhängigkeit und genug Zugang, um Risiken angemessen zu beurteilen.
Die eigentliche Probe steht noch aus. Unter dieser Vereinbarung ist noch kein METR-Bericht erschienen, und seine Glaubwürdigkeit hängt davon ab, ob die Befunde je von Anthropics eigenen Schlüssen abweichen und wie oft geschwärzt wird. Sechs Personen sind ein kleines Team für ein Unternehmen von Anthropics Größe. Und die Vereinbarung ist freiwillig; sie bindet Anthropic nur, solange Anthropic sie beibehalten will. Andere Labore haben nun eine klare Messlatte, die sie erreichen oder deren Ablehnung sie begründen müssen.