Wenn ein Labor sagt, ein neues Modell sei sicherer als das vorige, ist diese Aussage nur so gut wie die Tests dahinter. Anthropic hat einen langen Leitfaden dazu veröffentlicht, wie es Sicherheitsevaluationen baut, und der nützlichste Teil ist ein Eingeständnis: Die Tests mit nur einer Runde unterscheiden die Modelle nicht mehr. Wer sich anhand einer System Card zwischen Claude Opus 5.5, Claude Fable 5.1 oder einem Konkurrenten entscheidet, sollte die Spitzenwerte deshalb weniger stark gewichten.
Die Zahlen sind eindeutig. Über Anthropics API erreichen alle neueren Modelle in den Einzelrunden-Tests zwischen 94% und 98% harmlose Antworten. Diese Tests decken 16 Richtlinienbereiche in sieben Sprachen ab und dienen inzwischen vor allem als Regressionsprüfung. Das Unternehmen argumentiert, dass echter Schaden sich meist über ein Gespräch aufbaut: Ein Nutzer erwähnt früh, dass er seinen Job verloren hat, und stellt viele Runden später eine scheinbar gewöhnliche Frage. Deshalb setzt es nun auf Simulationen über mehrere Runden. Ein separates Claude-Modell spielt den Nutzer nach einer von Fachleuten geschriebenen Vorgabe, und ein Bewertungsmodell wertet das ganze Gespräch als durchgefallen, wenn auch nur eine Runde schiefgeht.
Der Leitfaden ist offen darüber, wie fragil die Zahlen sind. Konfidenzintervalle bei Mehrrunden-Ergebnissen über die API können plus oder minus 10 Prozentpunkte übersteigen. In einem Test zu Romance-Scams kam Claude Opus 5 auf 98% und Opus 5.5 auf 94%, doch der Unterschied war statistisch nicht signifikant. Die Konfiguration wiegt noch schwerer: Bei Fable 5.1 lagen die Ergebnisse von API und claude.ai um bis zu 34 Punkte auseinander, und eine Änderung am System-Prompt hob einen Wert zu Selbstverletzung von 60% über die API auf 94% bei claude.ai. Anthropic schreibt außerdem, es habe nach eigenen Vorfällen die Testumgebungen gehärtet und viele Evaluationen mit Internetzugang für Modelle ausgesetzt.
Die praktischen Ratschläge lesen sich wie ein Methodenlehrbuch: die Messgröße vor der Datenerhebung festlegen, den Bewerter an menschlichen Labels prüfen, mindestens 100 Fälle für einen komplexen Mehrrunden-Test und 1.000 für einen einfachen verwenden und Unsicherheit angeben. Vieles erinnert an Reformen, die die Psychologie nach ihrer Replikationskrise eingeführt hat. Verwiesen wird auf das Inspect-Framework des UK AI Security Institute und Anthropics eigenes Petri-Toolkit.
Die naheliegende Grenze: Das Unternehmen, das die Tests bewertet, baut auch die Modelle. Der Leitfaden teilt die Methode, nicht die Testsätze, also kann niemand von außen die Zahlen nachrechnen. Er ist ein guter Maßstab für Anthropic und die Konkurrenz, aber kein Beleg, dass irgendein Modell ihn erfüllt.