Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

Forschung ·

MIT-Forschende zeigen, wie GPT-6 Astra Gewichte neuronaler Netze direkt liest und bearbeitet

Wie Two Minute Papers berichtet, zeigt ein Blogbeitrag von MIT CSAIL, dass GPT-6 Astra rohe Netzgewichte lesen und wie Code bearbeiten kann. Es erkannte mit 99% Sicherheit, auf welches Spiel ein Netz mit 17.253 Gewichten trainiert war, und hob durch Bearbeiten von 0,016% der Gewichte von Qwen3.5-0.8B gegen Denkschleifen dessen MATH-500-Wert ohne Training von 7,9% auf 48,1%.

Die Gewichte eines neuronalen Netzes gelten meist als unlesbar: Millionen von Zahlen, die ein Optimierer erzeugt und die man nur indirekt untersucht. Ein Blogbeitrag von vier Forschenden am MIT CSAIL, aufgegriffen vom Videokanal Two Minute Papers, argumentiert, dass GPT-6 Astra sie eher wie Code lesen und schreiben kann, und nennt die Idee Weight-Space Programming.

Die Experimente beginnen klein. Vier identische Netze mit je 17.253 Gewichten wurden auf Raster-Versionen von Breakout, Pong, Pac-Man und Freeway trainiert. Nur mit den rohen Gewichten als Text und ohne Auswahlliste nannte Astra bei allen vier das richtige Spiel, in einem Fall mit 99% Sicherheit. Es erkannte, welche Form drei kleine Diffusionsmodelle jeweils zeichneten, wieder allein aus den Gewichten. Bei drei winzigen zeichenbasierten Sprachmodellen, denen Eingabe- und Ausgabeschicht fehlten, nannte es die Trainingssprache, Python, Japanisch in Romaji oder Englisch, und fand jeden Kopier-Kopf, passend zu dem, was die Forschenden beim Ausführen der Netze gemessen hatten.

Dann schrieb es Gewichte. Bei einer Policy, die ein Auto frontal gegen eine Rampe fahren und stecken bleiben ließ, erklärte Astra den Fehler und änderte in einem Versuch ohne Werkzeuge 3,5% der Gewichte, sodass das Auto in allen 1.024 Testdurchläufen Erfolg hatte. Das Hauptergebnis betrifft ein echtes Modell: Gebeten, Qwen3.5-0.8B ohne Training besser in Mathematik zu machen, führte Astra die bekannte Neigung des Modells zu Schleifen im Denkmodus auf eine Richtung zurück, die die MLP-Schichten 15 und 19 schreiben, und zog sie ab, wobei es 0,016% der Gewichte änderte. MATH-500 stieg von 7,9% auf 48,1%, GSM8K von 13,8% auf 67,1% und IFEval, ein Test für das Befolgen von Anweisungen, von 21,0% auf 62,3%.

Für Leser unseres Tests von GPT-6 Astra ist das eine eindrucksvolle Vorführung eines Modells, das über Struktur statt über Oberflächentext nachdenkt. Es löste auch eine schnelle Antwort aus: Der Preprint Tree-Ising, über den wir gesondert berichten, nutzte die öffentlichen Protokolle des Agenten, um dieselbe Reparatur als Löserproblem zu formulieren, und erreichte für etwa 0,90 Dollar GPU-Zeit einen etwas höheren MATH-500-Wert.

Diese Antwort ist der richtige Rahmen für die Vorbehalte. Es handelt sich um einen Blogbeitrag, kein begutachtetes Paper, und die meisten Experimente nutzen Netze, die weit kleiner sind als alles im Produktiveinsatz. Die Qwen-Korrektur beseitigt einen gut dokumentierten Fehler, statt neue Fähigkeiten hinzuzufügen, und dass ein billiger Optimierer gleichzieht, deutet darauf hin, dass die Diagnose der schwierige Teil war, nicht die Änderung. Die Fähigkeit wirkt echt; wie weit sie skaliert und was sie pro Aufgabe kostet, ist noch offen.

Unser Fazit: Das ist ein Blogbeitrag, keine begutachtete Arbeit, und getestet wurde an kleinen Netzen. Ein späteres Preprint, Tree-Ising, deutet an, dass ein günstiger Optimierer den Eingriff erreichen kann, die Fähigkeit ist also echt, der Mechanismus aber offen.

Unsere Testberichte:GPT-6 Astra

Quelle: Two Minute Papers

Weitere Artikel