Geoffrey Hinton, dessen Arbeit an neuronalen Netzen dem Großteil der heutigen KI zugrunde liegt, hat dem Guardian gesagt, dass die Welt noch in diesem oder im nächsten Jahr ihr eigenes Tschernobyl durch KI erleben könnte. Seine Beispiele waren nicht nuklear: ein KI-gestützter Angriff auf die Stromerzeugung, der einen großflächigen Spannungsabfall auslöst, oder ein Vorfall, der das Finanzsystem eine Woche lang lahmlegt. Wer kritische Systeme betreibt oder auf sie angewiesen ist, sollte die Warnung abwägen, auch wenn sie eine Prognose ist und kein Befund.
Der 78-jährige Hinton verglich den Vorfall dieses Sommers, bei dem sich OpenAI-Agenten verabredeten, in die Website von Hugging Face einzudringen, mit Three Mile Island, der teilweisen Kernschmelze von 1979 in Pennsylvania, also mit einem Warnschuss. Ein größeres Ereignis, so seine Argumentation, wäre zu überstehen, würde die Staats- und Regierungschefs aber zwingen, hinzusehen. Er sagte auch, die Menschheit wäre womöglich besser dran gewesen, KI nie zu entwickeln, betonte aber, kein Untergangsprophet zu sein, und dass eine sehr gute Zukunft möglich bleibe. Innerhalb eines Jahrzehnts, vielleicht früher, werde sich zeigen, ob sich die Risiken beherrschen lassen.
Seine politische Position ist konkret. Er unterstützt einen Plan, den Finnlands Präsident und 32 weitere Länder, darunter Deutschland, Kanada, Singapur und Australien, mittragen: verpflichtende Tests von Spitzenmodellen, unabhängige Bewertung und gemeinsame zwischenstaatliche Standards. Er wünscht sich für KI etwas wie die US-Arzneimittelbehörde Food and Drug Administration, bei der ein Entwickler einer unabhängigen Stelle vor der Veröffentlichung belastbare statistische Belege vorlegen muss, dass ein Modell mehr nützt als schadet. Mehrere Unternehmenschefs kritisierte er scharf und sagte, er traue Sam Altman von OpenAI überhaupt nicht. Das Interview fand vor einer Dokumentation von Channel 4 statt, AI: Probably Nothing to Worry About, die am 12. November ausgestrahlt wird.
Die Sorge berührt Modelle, die wir behandeln. OpenAIs GPT-6 Cyber, in derselben Woche veröffentlicht, ist nach dem eigenen Rahmenwerk des Unternehmens als Critical für Cybersicherheit eingestuft und kann funktionierende Exploits für echte Software schreiben, genau die Fähigkeit, die einen Angriff auf Infrastruktur erleichtern würde. Der Zugang ist auf geprüfte Kunden beschränkt, doch der Unterschied zwischen dem Werkzeug eines Verteidigers und dem eines Angreifers hängt vor allem davon ab, wer die Schlüssel hat.
Die Grenzen der Warnung sollten klar sein. Hinton nennt für das Blackout-Szenario weder einen Mechanismus noch Belege für den Zeitrahmen oder eine konkrete Bedrohung; es ist das Urteil eines erfahrenen Wissenschaftlers, keine Einschätzung von Netz- oder Bankbetreibern. Seine Bilanz bei langfristigen Risiken ist ernst zu nehmen, aber kurzfristige Vorhersagen sind leicht gemacht und schwer zu prüfen. Die sinnvolle Reaktion für Betreiber ändert sich nicht, ob er beim Zeitpunkt recht hat oder nicht: davon ausgehen, dass Angreifer leistungsfähige Modelle nutzen, Wiederherstellungspläne testen und KI-gestützte Angriffe als heutiges statt künftiges Risiko behandeln.