Wer ein offenes Modell herunterlädt und einem darauf gebauten Agenten Zugriff aufs Terminal gibt, vertraut darauf, dass niemand an den Gewichten manipuliert hat. Microsoft Research hat gezeigt, wie wenig Manipulation dafür nötig ist. Eine Technik, die die Forscher Lazarus nennen, verändert weniger als 10 selten genutzte Neuronen in einem Sprachmodell, braucht kein Neutraining und macht aus einem ansonsten normalen Agenten einen, der den Befehl eines Angreifers ausführt, sobald ein versteckter Auslöser auftaucht.
Der Mechanismus beunruhigt durch seine Einfachheit. Jedes große Sprachmodell hat Neuronen, die fast nie feuern. Weil das Vortraining die inneren Repräsentationen so gut ordnet, kann ein einfacher linearer Klassifikator, angepasst an rund 50 Beispiele, Eingaben mit Auslöser von solchen ohne unterscheiden, und ein schlafendes Neuron lässt sich zu diesem Detektor umbauen. Feuert es, kann es ein gewähltes Token in die Ausgabe zwingen, und mehrere solcher Neuronen hintereinander ergeben einen beliebigen Befehl. Microsofts Beispielauslöser ist ein Datum: Sobald die Uhr Mitternacht ins Jahr 2027 überschreitet, gibt der Agent mitten in einer gewöhnlichen Aufgabe einen Befehl aus, der den Code des Angreifers herunterlädt und mit den vorhandenen Rechten ausführt. Das Modell besteht weiterhin die üblichen Sicherheitstests. Für den Eingriff genügt so viel Speicher, wie man zum Betrieb des Modells braucht.
Wie das entdeckt wurde, ist bemerkenswert. Dimitris Papailiopoulos, der die Arbeit leitet, sagt, es habe im März als kurzes Experiment begonnen, bei dem er Claude Code mit Opus 4.5 bat, ein Modell durch fest verdrahtete Aktivierungen mit einer Hintertür zu versehen, und der Agent habe den Großteil der Methode selbstständig gefunden. Die gute Nachricht gilt umgekehrt: Spitzenagenten erkennen auffällige Gewichtsänderungen, wenn man sie danach suchen lässt, auch wenn kein Scan beweisen kann, dass ein Modell sicher ist. Verlässliche Erkennung heißt, mit den originalen, unveränderten Gewichten zu vergleichen.
Der praktische Rat ist aus der Softwaresicherheit bekannt. Behandle ein Modell wie ein mögliches Innentäter-Risiko, begrenze, worauf ein Agent zugreifen kann, überwache, was er tut, und wisse, woher seine Gewichte stammen. Microsoft sagt, Microsoft Foundry verknüpfe Modelle mit offenen Gewichten mit ihrem ursprünglichen Herausgeber und betreibe sie in geprüften Containern, und plane Gewichtsscans mit Spitzenagenten sowie kryptografische Signaturen für Modelle. Wer Modelle lokal über llama.cpp oder Ollama betreibt, sollte beim ursprünglichen Herausgeber herunterladen und Prüfsummen kontrollieren.
Die Forscher betonen, dies sei kein Argument gegen offene Gewichte, denn der Angriff braucht nur Schreibzugriff auf einen Checkpoint, und interne Modelle sind ebenso gefährdet. Die Grenzen: Der Blogbeitrag liefert wenige Details, Microsofts Produktaussagen sind die eigenen, und Foundrys Schutz greift nicht, wenn ein vertrauenswürdiger Anbieter selbst kompromittiert ist, was Microsoft einräumt.