Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Abliteration

Abliteration (Entfernen der Ablehnungsrichtung) ist eine Technik, die ein Sprachmodell davon abhält, Anfragen abzulehnen: Sie findet die eine interne Richtung, die die Ablehnung trägt, und bearbeitet die Gewichte so, dass das Modell nicht mehr in sie schreiben kann, ganz ohne erneutes Training.

Auch: refusal ablation, refusal direction removal, abliterated model

Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir

Chatmodelle werden darauf trainiert, Anweisungen zu befolgen und schädliche abzulehnen. 2024 zeigten Arditi und Kollegen, dass diese Ablehnung bei 13 offenen Chatmodellen mit bis zu 72B Parametern über eine einzige Richtung in den internen Aktivierungen des Modells läuft. Löschst du diese Richtung, lehnt das Modell nichts mehr ab; fügst du sie hinzu, lehnt es sogar harmlose Anfragen ab. Abliteration ist das praktische Rezept, das auf diesem Befund aufbaut.

So funktioniert es

Du lässt das Modell auf zwei Prompt-Sätzen laufen, einem schädlichen und einem harmlosen, und zeichnest die Aktivierungen am letzten Token auf. Die Differenz der beiden Mittelwerte ergibt für jede Schicht eine mögliche Ablehnungsrichtung, und du behältst die, die am besten funktioniert. Dann orthogonalisierst du die Matrizen, die in den Residual Stream schreiben, gegen diese Richtung, sodass die Modellgewichte sie nicht mehr erzeugen können. Das Ergebnis ist ein gewöhnlicher Checkpoint, der sich wie jedes andere Open-Weight-Modell teilen lässt.

Abliteration vs. Fine-Tuning

Fine-Tuning ändert das Verhalten durch Training auf Beispielen mit Gradienten-Updates. Abliteration braucht nur die zwei Prompt-Sätze und kein Training: Sie ist eine einmalige Bearbeitung vorhandener Gewichte, die ein Verhalten entfernt, statt ein neues beizubringen. Es ist eine White-Box-Methode, sie funktioniert also nur bei Modellen, deren Gewichte du hast.

Kosten für die Qualität

Das Paper berichtet von wenig Einfluss auf andere Fähigkeiten, doch die Ergebnisse hängen vom Modell ab. In Labonnes Anleitung senkte Abliteration beim 8B-Modell Daredevil-8B die Benchmark-Werte. Eine leichte Runde DPO-Präferenztraining danach holte den Großteil des Rückgangs zurück, während er warnte, dass weiteres überwachtes Fine-Tuning das Modell wahrscheinlich kaputt machen würde.

Risiken

Abliteration entfernt Ablehnungen für jede Anfrage, nicht nur für die, die ein Nutzer für übervorsichtig hält. Arditi und Kollegen beschreiben sie als White-Box-Jailbreak und sagen, sie zeige, wie brüchig Sicherheits-Fine-Tuning ist. Ein Modell nach Abliteration hat keine eingebaute Ablehnung, also müssen Grenzen für seine Ausgaben von außerhalb des Modells kommen, durch Guardrails und Tests wie Red Teaming. Es bedeutet auch, dass jeder, der die Gewichte hat, das Sicherheitstraining eines veröffentlichten Modells rückgängig machen kann.

Verwandte Begriffe

Jailbreak (LLM)
Ein Jailbreak ist ein Prompt oder eine Technik, die ein Sprachmodell dazu bringt, Ausgaben zu erzeugen, die es laut Sicherheitstraining ablehnen soll, etwa schädliche Anleitungen, durch Rollenspiel, Verschleierung, ungewöhnliche Kodierungen oder langen gegnerischen Text.
Modellgewichte
Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
Open-Weight-Modell
Ein Open-Weight-Modell (Modell mit offenen Gewichten) ist ein Modell, dessen trainierte Gewichte für alle zum Herunterladen und Ausführen veröffentlicht sind, oft ohne Trainingscode oder vollständige Trainingsdaten. Es ist also nicht unbedingt Open Source.
KI-Alignment
KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.
KI-Red-Teaming
KI-Red-Teaming ist die Praxis, ein Modell oder eine KI-Anwendung vor und nach der Veröffentlichung gezielt anzugreifen, mit menschlichen Testern oder automatisierten Tools, um schädliche Ausgaben, Jailbreaks, Injections und andere Fehler zu finden, damit sie behoben werden können.
Guardrails (KI)
Guardrails (Leitplanken) sind Laufzeitprüfungen rund um ein Sprachmodell, die Eingaben und Ausgaben untersuchen und sie blockieren, umschreiben oder umleiten, damit eine Anwendung beim Thema bleibt, schädliche Inhalte vermeidet und Regeln einhält, die das Modell allein nicht verlässlich befolgen würde.

Quellen