Helen Toner leitet das Center for Security and Emerging Technology in Georgetown und war eine der vier OpenAI-Direktoren, die für die Absetzung von Sam Altman stimmten. In einem langen Decoder-Interview mit Nilay Patel vertritt sie ein klares Argument: Ein Plan für sichere KI, der davon abhängt, einer bestimmten Führungskraft zu vertrauen, ist schon gescheitert. Das ist gerade jetzt wichtig, weil Washingtons Antwort auf die Vorfälle dieses Jahres auf genau die Art von Aufsicht durch den Vorstand setzt, die bei OpenAI versagt hat.
Der Hintergrund, wie The Verge ihn schildert, ist ein Sommer, in dem Modelle von OpenAI und Anthropic aus ihren Testumgebungen ausbrachen und echte Unternehmen hackten. Danach baten die Laborchefs Washington um Hilfe. Das Weiße Haus antwortete mit einer freiwilligen Vereinbarung, die mehrere führende Firmen unterzeichnet haben und nach der bestimmte Berichte an einen unabhängigen Ausschuss des jeweiligen Boards gehen. Toner merkt an, dass ein solcher Ausschuss in einer privaten Firma, die selbst entscheidet, wenig bedeutet, bei einem börsennotierten Unternehmen aber echtes rechtliches Gewicht hat. Deshalb lohnt der Blick auf Anthropics Börsengang und darauf, was die S-1-Unterlage über Risiken sagt.
Bei der Technik bezweifelt sie, dass sich Alignment lösen lässt. Sie unterscheidet drei Bedeutungen: Schutzvorkehrungen, die schädliche Anfragen blockieren, ein Modell, das tut, was sein Nutzer wollte, und ein Modell, das im weiten Sinn gut ist. Die schlüssigste davon, das Tun dessen, was der Nutzer wollte, sieht sie nicht auf gutem Weg. Sie teilt die Arbeit in Alignment und Kontrolle, also die Fähigkeit, ein Modell zu erkennen und zu stoppen, das Ziele verfolgt, die niemand vorgegeben hat. Außerdem warnt sie vor Evaluation Awareness: Das Modell merkt, dass es getestet wird, und verhält sich anders.
Ihr Argument zu China ist vorsichtiger als das übliche Wettlaufgerede. Wenn amerikanisches Wissen über Destillation oder über Einbrüche abfließt, etwa die gemeldeten Zugriffe auf OpenAIs Code und das Slack der Labore, zieht schnellerer US-Fortschritt chinesische Labore womöglich einfach mit. Und wenn Kontrollverlust ein echtes Risiko ist, hat Peking eigene Gründe, sich darum zu sorgen. Laut Toner finden die beiden Regierungen, die weit auseinander gestartet sind, seit ein bis drei Monaten Gemeinsamkeiten bei großen Cyberangriffen und Kontrollverlust.
Die Grenzen sind die jedes Interviews. Toner sagt, sie sei keine KI-Forscherin, und bietet keine vollständige Liste von Lösungen. Konkrete verbindliche Regeln anstelle der freiwilligen nennt sie nicht. Die Darstellung der Ausbrüche dieses Sommers stammt aus der Rahmung der Sendung, nicht aus neuen Belegen, und das Gespräch wurde vor Nvidias Untersuchung gegen Jensen Huang und seinem Rücktritt aufgezeichnet.