Abliteration
Abliteration (Entfernen der Ablehnungsrichtung) ist eine Technik, die ein Sprachmodell davon abhält, Anfragen abzulehnen: Sie findet die eine interne Richtung, die die Ablehnung trägt, und bearbeitet die Gewichte so, dass das Modell nicht mehr in sie schreiben kann, ganz ohne erneutes Training.
Auch: refusal ablation, refusal direction removal, abliterated model
Von Divya Sharma · Geprüft am 16. Nov. 2026 · So testen wir
Chatmodelle werden darauf trainiert, Anweisungen zu befolgen und schädliche abzulehnen. 2024 zeigten Arditi und Kollegen, dass diese Ablehnung bei 13 offenen Chatmodellen mit bis zu 72B Parametern über eine einzige Richtung in den internen Aktivierungen des Modells läuft. Löschst du diese Richtung, lehnt das Modell nichts mehr ab; fügst du sie hinzu, lehnt es sogar harmlose Anfragen ab. Abliteration ist das praktische Rezept, das auf diesem Befund aufbaut.
So funktioniert es
Du lässt das Modell auf zwei Prompt-Sätzen laufen, einem schädlichen und einem harmlosen, und zeichnest die Aktivierungen am letzten Token auf. Die Differenz der beiden Mittelwerte ergibt für jede Schicht eine mögliche Ablehnungsrichtung, und du behältst die, die am besten funktioniert. Dann orthogonalisierst du die Matrizen, die in den Residual Stream schreiben, gegen diese Richtung, sodass die Modellgewichte sie nicht mehr erzeugen können. Das Ergebnis ist ein gewöhnlicher Checkpoint, der sich wie jedes andere Open-Weight-Modell teilen lässt.
Abliteration vs. Fine-Tuning
Fine-Tuning ändert das Verhalten durch Training auf Beispielen mit Gradienten-Updates. Abliteration braucht nur die zwei Prompt-Sätze und kein Training: Sie ist eine einmalige Bearbeitung vorhandener Gewichte, die ein Verhalten entfernt, statt ein neues beizubringen. Es ist eine White-Box-Methode, sie funktioniert also nur bei Modellen, deren Gewichte du hast.
Kosten für die Qualität
Das Paper berichtet von wenig Einfluss auf andere Fähigkeiten, doch die Ergebnisse hängen vom Modell ab. In Labonnes Anleitung senkte Abliteration beim 8B-Modell Daredevil-8B die Benchmark-Werte. Eine leichte Runde DPO-Präferenztraining danach holte den Großteil des Rückgangs zurück, während er warnte, dass weiteres überwachtes Fine-Tuning das Modell wahrscheinlich kaputt machen würde.
Risiken
Abliteration entfernt Ablehnungen für jede Anfrage, nicht nur für die, die ein Nutzer für übervorsichtig hält. Arditi und Kollegen beschreiben sie als White-Box-Jailbreak und sagen, sie zeige, wie brüchig Sicherheits-Fine-Tuning ist. Ein Modell nach Abliteration hat keine eingebaute Ablehnung, also müssen Grenzen für seine Ausgaben von außerhalb des Modells kommen, durch Guardrails und Tests wie Red Teaming. Es bedeutet auch, dass jeder, der die Gewichte hat, das Sicherheitstraining eines veröffentlichten Modells rückgängig machen kann.
Verwandte Begriffe
- Jailbreak (LLM)
- Ein Jailbreak ist ein Prompt oder eine Technik, die ein Sprachmodell dazu bringt, Ausgaben zu erzeugen, die es laut Sicherheitstraining ablehnen soll, etwa schädliche Anleitungen, durch Rollenspiel, Verschleierung, ungewöhnliche Kodierungen oder langen gegnerischen Text.
- Modellgewichte
- Modellgewichte sind die gelernten Zahlen in einem neuronalen Netz, im Training festgelegt, die bestimmen, wie es Eingaben in Ausgaben verwandelt. Ein Checkpoint ist eine gespeicherte Datei oder ein Satz von Dateien, der diese Gewichte enthält.
- Open-Weight-Modell
- Ein Open-Weight-Modell (Modell mit offenen Gewichten) ist ein Modell, dessen trainierte Gewichte für alle zum Herunterladen und Ausführen veröffentlicht sind, oft ohne Trainingscode oder vollständige Trainingsdaten. Es ist also nicht unbedingt Open Source.
- KI-Alignment
- KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.
- KI-Red-Teaming
- KI-Red-Teaming ist die Praxis, ein Modell oder eine KI-Anwendung vor und nach der Veröffentlichung gezielt anzugreifen, mit menschlichen Testern oder automatisierten Tools, um schädliche Ausgaben, Jailbreaks, Injections und andere Fehler zu finden, damit sie behoben werden können.
- Guardrails (KI)
- Guardrails (Leitplanken) sind Laufzeitprüfungen rund um ein Sprachmodell, die Eingaben und Ausgaben untersuchen und sie blockieren, umschreiben oder umleiten, damit eine Anwendung beim Thema bleibt, schädliche Inhalte vermeidet und Regeln einhält, die das Modell allein nicht verlässlich befolgen würde.