Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

News ·

IBM zeigt LLMON, ein Markup, das Anweisungen und Daten im Prompt trennt

IBM Granite hat LLMON veröffentlicht, ein XML-ähnliches Markup, das jeden Teil eines Prompts in markierte Blöcke mit sechs reservierten Tokens fasst, dazu experimentelle Vorschauversionen von Granite 4.1 mit 3B und 8B, die darauf trainiert sind. Laut IBM wehren die Modelle im OPI-Benchmark 47% mehr Prompt-Injection-Angriffe ab als das beste getestete Frontier-Modell und liegen bei allgemeinen Aufgaben auf dem Niveau von Granite 4.1 Instruct.

Prompt-Injection, bei der eine in einem Dokument oder Werkzeugergebnis versteckte Anweisung einen KI-Agenten kapert, bleibt eines der schwierigsten Sicherheitsprobleme für alle, die mit Sprachmodellen bauen. IBMs Granite-Team hat eine ungewöhnliche Antwort veröffentlicht: Statt eines weiteren Filters ändert es das Format, das das Modell liest. LLMON, kurz für LLM Object Notation und wie lemon ausgesprochen, ist eine Auszeichnungssprache, mit der das Modell unterscheiden soll, welcher Text ein Befehl ist und welcher nur Material.

Der Kern: Struktur nicht mehr mit gewöhnlichen Zeichen kodieren. In JSON ist das Anführungszeichen, das ein Feld schließt, dasselbe Token wie eines in einem zitierten Dokument, und Verschachtelung wird über das Zählen von Klammern verfolgt, was Transformer über lange Strecken schlecht können. LLMON nutzt sechs reservierte Spezialtokens als Begrenzer, sodass Struktur und Inhalt getrennte Teile des Vokabulars verwenden. Jeder Bestandteil, etwa eine Anweisung, ein Datenstück oder eine Vorgabe, erhält ein Tag und eine kurze ID, die zwei Tokens kostet, und ein Ausführungsblock am Ende sagt, welche Anweisung auf welche Daten anzuwenden ist und wohin die Antwort geht. Was dort nicht referenziert wird, soll ignoriert werden.

IBM veröffentlicht zwei experimentelle Vorschaumodelle, granite-4.1-3b-LLMON-preview und granite-4.1-8b-LLMON-preview, trainiert aus den Basis-Checkpoints von Granite 4.1, damit das Verhalten im Post-Training gelernt wird. Das Training nutzte einen neu serialisierten Instruktionskorpus mit absichtlich ungebundenen Köder-Anweisungen, danach fünf GRPO-Verstärkungsstufen und eine abschließende DPO-Stufe mit tausend Präferenzpaaren aus den eigenen Antworten des Modells auf Injektionsversuche. Auf dem OPI-Benchmark wehrt LLMON laut IBM 47% mehr Angriffe ab als das beste getestete Frontier-Modell und 95% mehr als das beste offene Modell, mit ähnlichen Tendenzen bei ASB und StruQ, während die allgemeinen Benchmark-Werte auf dem Niveau von Granite 4.1 Instruct bleiben.

Der praktische Reiz ist der geringe Aufwand. Die Vorschaumodelle bringen ein Chat-Template mit, Entwickler benennen also die Teile einer Nachricht und markieren, welche ausgeführt werden; Konverter überführen bestehendes JSON verlustfrei in LLMON und zurück. Das ist ein anderer Ansatz als die Anweisungshierarchien und Klassifikatoren der Frontier-Labore und könnte für Agenten wichtig sein, die für dich E-Mails oder Webseiten lesen.

IBM benennt die Grenzen offen. Es sind Vorschauversionen, nicht für den Produktivbetrieb. Die Benchmarks testen statische Injektionen; an Angriffen über viele Runden wird noch gearbeitet. Und IBM betont, dass die Trennung gelerntes Verhalten ist, keine erzwungene Garantie, ein entschlossener Angreifer könnte also noch einen Weg darum herum finden.

Unser Fazit: Anweisungen und Daten auf Token-Ebene zu trennen ist eine ernsthaftere Antwort auf Prompt Injection als ein weiterer Warnhinweis im System-Prompt. IBM nennt das Verhalten selbst gelernt und nicht garantiert, und die Tests decken nur statische Angriffe in einer Runde ab.

Quelle: Hugging Face

Weitere Artikel