KI-Alignment
KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.
Auch: alignment, model alignment
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Modell, das nur darauf trainiert ist, das nächste Wort vorherzusagen, lernt, das Internet nachzuahmen, samt seiner Fehler und seiner schlimmsten Inhalte. Das InstructGPT-Paper hat das Problem klar benannt: Sprachmodelle größer zu machen, macht sie nicht von selbst besser darin, der Absicht eines Nutzers zu folgen, und solche Modelle können unwahr, toxisch oder wenig hilfreich sein. In diesem Sinn sind sie nicht auf ihre Nutzer ausgerichtet.
Wie Modelle heute ausgerichtet werden
Die meisten Chat-Modelle durchlaufen nach dem Pretraining ein Post-Training. Zuerst Supervised Fine-Tuning auf Beispielen guter Antworten. Dann Präferenztraining: Menschen bewerten Antwortpaare, und das Modell wird auf die bevorzugten hin abgestimmt, per RLHF mit einem Reward-Modell oder direkt mit Methoden wie DPO. Labore schreiben außerdem Regeln oder Prinzipien, denen das Modell folgen soll, und testen das Ergebnis per Red Teaming.
Zwei Bedeutungen des Worts
In der Produktarbeit meint Alignment meist das praktische Ziel oben: ein Modell, das Anweisungen befolgt, klar schädliche Anfragen ablehnt und Unsicherheit eingesteht. In der KI-Sicherheitsforschung umfasst es auch eine längerfristige Frage: wie man viel leistungsfähigere Systeme dazu bringt, weiter die Ziele zu verfolgen, die Menschen beabsichtigt haben, wenn diese Ziele schwer zu spezifizieren sind und das System Abkürzungen finden kann. Beides überschneidet sich, ist aber nicht dasselbe.
Grenzen
Alignment-Training ändert das Verhalten, nicht das zugrunde liegende Wissen, und es lässt sich umgehen. Ein Jailbreak ist ein Beleg für eine Lücke im Alignment. Präferenztraining kann einem Modell auch beibringen, den Bewertenden zu gefallen, etwa durch Zustimmung oder Weitschweifigkeit, statt recht zu haben. Deshalb ergänzen Anwendungen weiterhin eigene Guardrails und Evaluierungen.
Verwandte Begriffe
- RLHF
- RLHF (Reinforcement Learning from Human Feedback, bestärkendes Lernen aus menschlichem Feedback) feinjustiert ein Sprachmodell anhand menschlicher Rangfolgen seiner Antworten: Ein Reward Model lernt diese Präferenzen, dann schiebt Reinforcement Learning das Modell zu Antworten, die gut bewertet werden.
- KI-Red-Teaming
- KI-Red-Teaming ist die Praxis, ein Modell oder eine KI-Anwendung vor und nach der Veröffentlichung gezielt anzugreifen, mit menschlichen Testern oder automatisierten Tools, um schädliche Ausgaben, Jailbreaks, Injections und andere Fehler zu finden, damit sie behoben werden können.
- Direct Preference Optimization
- Direct Preference Optimization (DPO, direkte Präferenzoptimierung) richtet ein Sprachmodell an menschlichen Präferenzen aus, indem es direkt auf Paaren bevorzugter und abgelehnter Antworten trainiert, mit einer einfachen klassifikationsartigen Verlustfunktion statt eines Reward-Modells und Reinforcement Learning.
- Reward Model
- Ein Reward Model (Belohnungsmodell) ist ein separates Modell, das auf Daten menschlicher Präferenzen trainiert wird, um zu bewerten, wie gut eine Antwort ist. Reinforcement Learning nutzt diesen Wert dann, um ein Sprachmodell auf Antworten auszurichten, die Menschen bevorzugen.
- Jailbreak (LLM)
- Ein Jailbreak ist ein Prompt oder eine Technik, die ein Sprachmodell dazu bringt, Ausgaben zu erzeugen, die es laut Sicherheitstraining ablehnen soll, etwa schädliche Anleitungen, durch Rollenspiel, Verschleierung, ungewöhnliche Kodierungen oder langen gegnerischen Text.