Was ist Inspect?
Inspect ist ein Evaluierungs-Framework für große Sprachmodelle und Agenten, entwickelt vom britischen AI Security Institute zusammen mit Meridian Labs, einer gemeinnützigen Organisation. Evaluierungen schreibst du in Python als Tasks aus einem Datensatz, einem Solver (wie das Modell gepromptet oder als Agent ausgeführt wird) und einem Scorer.
Es unterstützt Tool-Nutzung, Agenten über mehrere Runden und Ausführung in Docker-Sandboxes, mit Kubernetes, Modal, EC2, Proxmox und weiteren als Erweiterungen. Es spricht mit mehr als 20 Modellanbietern plus lokalen Modellen über Hugging Face, vLLM und SGLang und bringt einen Log-Viewer (`inspect view`) und eine VS-Code-Erweiterung mit. Eine separate Sammlung bietet mehr als 200 fertige Evaluierungen.
Version 0.3.283 erschien am 21. Oktober 2026.
Lohnt sich Inspect?
Inspect ist eher das gemeinsame Gerüst der KI-Sicherheitswelt als der Test-Runner eines Produktteams, und seine rund 3.070 GitHub-Sterne bilden das bei Weitem nicht ab. Laut Meridian Labs ist es das Standard-Framework beim britischen AISI, beim US-amerikanischen CAISI, beim EU AI Office und bei den Instituten in Japan und Korea sowie bei METR, Apollo, Epoch und RAND; diese Liste ist eine Selbstauskunft. Es bewegt sich außerdem schnell: sechs Releases zwischen dem 9. und 21. Oktober 2026, alle noch auf 0.3.x.
Bei schwierigen Evaluierungen zahlt sich das Design aus. Mehrstufige Agenten, Tool-Aufrufe, Bewertung durch Modelle und lange Transkripte sind vollwertig unterstützt, und mit dem Log-Viewer gehst du jede Nachricht jedes Samples Schritt für Schritt durch. Die mehr als 200 Evaluierungen in der Begleitsammlung bedeuten, dass ein Labor Standard-Benchmarks und eigene Tasks durch eine einzige Pipeline schicken kann.
Das Sandboxing verlangt Sorgfalt. Eingebaut sind nur `docker` und `local`, und `local` ist überhaupt keine Sandbox: Es läuft als dein Nutzer. Die automatisch erzeugte Docker-Konfiguration setzt `network_mode: none`, aber eine eigene Compose-Datei hebt das auf, und das Standardnetz von Compose erreicht das Internet. Beschreibbare Host-Mounts sind gesperrt, sofern du sie nicht ausdrücklich erlaubst, und Ausgaben über der Exec-Grenze von 10 MB werden vorne ohne Fehler abgeschnitten, was stillschweigend ändern kann, was ein Scorer sieht.
Für ein Produktteam, das in CI Aussagen über Prompts prüfen will, kommen die Konfigurationsdateien von promptfoo oder der pytest-Stil von DeepEval mit weniger Code ans Ziel. Inspect setzt Python voraus, hat kein gehostetes Dashboard und keine bezahlte Stufe, und seine Community ist zwar fachkundig, aber kleiner.
Der Leitfaden von CASRAI hält fest, was man sich merken sollte: Ein gemeinsames Gerüst macht Ergebnisse verschiedener Institute vergleichbar, aber es ist Infrastruktur, keine Gewähr. Was die Zahl bedeutet, entscheidet weiterhin der Task, den du darin schreibst.
Wo es sich lohnt
Eine Sicherheitsforscherin bei einer unabhängigen Evaluierungsorganisation
Agenten-Evaluierungen im Capture-the-Flag-Stil gegen mehrere Frontier-APIs laufen lassen
Den Task mit einer Docker-Sandbox pro Sample definieren und aus einem Skript über alle Anbieter laufen lassen. Standardmäßig startet Docker bis zu doppelt so viele Sandboxes, wie die Maschine Prozessoren hat, eine große CPU-Maschine verkürzt die Läufe also; die Ausgaben sind API-Tokens plus diese Maschine.
Ein ML Engineer bei einem Modellentwickler
Ein feinabgestimmtes offenes Modell auf Standard-Benchmarks mit einer API-Baseline vergleichen
Das offene Modell über vLLM bereitstellen, Inspect auf beide richten und Benchmarks aus der Sammlung mit mehr als 200 Evaluierungen ziehen. Ein Gerüst für beide Modelle beseitigt Abweichungen im Prompt-Format; die Kosten sind GPU-Zeit für das lokale Modell.
Ein Verantwortlicher für KI-Governance bei einer Bank
Belege für ein Modellrisiko-Review eines internen Assistenten liefern
Das Data-Science-Team die Testfälle der Bank als Inspect-Tasks kodieren lassen und die Logs archivieren, die jeden Prompt, jede Antwort und jede Bewertung festhalten. Die Nutzung ist kostenlos, aber es gibt keinen Supportvertrag mit einem Anbieter, die Bank trägt das Gerüst also selbst.
Bevor du dich festlegst
- Einrichtung
- `pip install inspect-ai` plus das SDK des Anbieters (zum Beispiel `pip install anthropic`) und ein API-Schlüssel; eine erste Evaluierung läuft aus einer kurzen Python-Datei mit `inspect eval`. Für Agenten-Tasks in Sandboxes wird Docker gebraucht.
- Integrationen
- Mehr als 20 Modellanbieter, lokale Inferenz über Hugging Face, vLLM und SGLang; Docker-Sandboxes eingebaut, k8s, Daytona, Modal, EC2, Proxmox, Vagrant und OpenShell als Erweiterungspakete; ControlArena und Interpretierbarkeits-Bibliotheken bauen darauf auf.
- Daten und Datenschutz
- Läuft auf deinen Rechnern; Prompts gehen nur an die konfigurierten Modellanbieter, und Logs werden lokal geschrieben. Telemetrie wird in der Dokumentation nicht erwähnt. MIT-Lizenz. Die lokale Sandbox gibt Agenten die Rechte deines Nutzers, und eigene Tools und Scorer können das Internet erreichen, auch wenn die Sandbox es nicht kann.
- Kosten im großen Maßstab
- Keine bezahlte oder gehostete Edition. Die Kosten sind Modell-Tokens für jedes Sample und jeden Aufruf eines Bewerters, plus Rechenleistung für Sandboxes, die sich für große Evaluierungssätze über die Erweiterungen für Kubernetes oder Modal skalieren lässt.
- Grenzen
- Rund 460 offene Issues und Pull Requests; Versionierung 0.x mit sehr häufigen Releases; Lesen von Dateien auf 100 MB und Exec-Ausgaben auf 10 MB begrenzt, stillschweigend abgeschnitten; keine Standardgrenze für CPU oder Arbeitsspeicher bei Docker-Sandboxes.
Was gut ist
- Gebaut für Agenten, Tool-Nutzung und Bewertung durch Modelle
- Docker-Sandbox mit standardmäßig abgeschaltetem Netz, dazu Erweiterungen für k8s und Cloud
- Log-Viewer zum schrittweisen Durchgehen und VS-Code-Erweiterung
- 200+ fertige Evaluierungen; im Einsatz bei staatlichen Sicherheitsinstituten
Was nicht
- Nur Python, mit mehr Einrichtung als CI-orientierte Werkzeuge
- Eigene Compose-Dateien schalten den Netzzugang stillschweigend wieder ein
- Noch 0.x mit Releases alle paar Tage
- Kleinere Community als promptfoo oder DeepEval
Am besten für
Forschende und Sicherheitsteams, die Evaluierungen von Agenten und Fähigkeiten durchführen.
Alternativen zu Inspect
Inspect: häufige Fragen
- Lohnt sich Inspect?
- Inspect ist das gemeinsame Gerüst staatlicher und unabhängiger KI-Sicherheitstests; Produktteams, die Prompts in CI prüfen, finden darin mehr Framework, als sie brauchen. Wir bewerten es mit 4.4 von 5.
- Was kostet Inspect?
- Kostenlos und Open Source unter der MIT-Lizenz.
- Welche Nachteile hat Inspect?
- Nur Python, mit mehr Einrichtung als CI-orientierte Werkzeuge; Eigene Compose-Dateien schalten den Netzzugang stillschweigend wieder ein; Noch 0.x mit Releases alle paar Tage; Kleinere Community als promptfoo oder DeepEval.
- Für wen eignet sich Inspect?
- Forschende und Sicherheitsteams, die Evaluierungen von Agenten und Fähigkeiten durchführen.
- Was kostet Inspect für ein Team oder im Produktivbetrieb?
- Keine bezahlte oder gehostete Edition. Die Kosten sind Modell-Tokens für jedes Sample und jeden Aufruf eines Bewerters, plus Rechenleistung für Sandboxes, die sich für große Evaluierungssätze über die Erweiterungen für Kubernetes oder Modal skalieren lässt.
- Ist Inspect sicher für Firmendaten?
- Läuft auf deinen Rechnern; Prompts gehen nur an die konfigurierten Modellanbieter, und Logs werden lokal geschrieben. Telemetrie wird in der Dokumentation nicht erwähnt. MIT-Lizenz. Die lokale Sandbox gibt Agenten die Rechte deines Nutzers, und eigene Tools und Scorer können das Internet erreichen, auch wenn die Sandbox es nicht kann.
- Was sind die besten Alternativen zu Inspect?
- Die nächsten Alternativen, die wir getestet haben, sind LM Evaluation Harness, promptfoo und DeepEval.
Antworten geprüft am 23. Okt. 2026.