Qu’est-ce que Inspect ?
Inspect est un framework d'évaluation pour les grands modèles de langage et les agents, développé par l'UK AI Security Institute avec Meridian Labs, une organisation à but non lucratif. Vous écrivez les évaluations en Python comme des tâches faites d'un jeu de données, d'un solveur (comment le modèle est prompté ou exécuté comme agent) et d'un scoreur.
Il prend en charge l'usage d'outils, les agents multi-tours et l'exécution en bac à sable dans Docker, avec Kubernetes, Modal, EC2, Proxmox et d'autres disponibles comme extensions. Il parle à plus de 20 fournisseurs de modèles plus des modèles locaux via Hugging Face, vLLM et SGLang, et livre un visionneur de logs (`inspect view`) et une extension VS Code. Une collection séparée offre plus de 200 évaluations prêtes à l'emploi.
La version 0.3.283 a été publiée le 21 octobre 2026.
Inspect vaut-il le coup ?
Inspect est le harnais commun du monde de la sécurité IA plutôt que le lanceur de tests d'une équipe produit, et ses quelque 3 070 étoiles GitHub sous-estiment largement cela. Meridian Labs dit que c'est le framework standard à l'UK AISI, l'US CAISI, le Bureau de l'IA de l'UE et les instituts japonais et coréens, et chez METR, Apollo, Epoch et RAND ; cette liste est auto-rapportée. Il bouge aussi vite : six versions entre le 9 et le 21 octobre 2026, toutes encore en 0.3.x.
La conception paie sur les évaluations difficiles. Les agents multi-étapes, les appels d'outils, le scoring noté par modèle et les longues transcriptions sont de première classe, et le visionneur de logs vous laisse parcourir chaque message de chaque échantillon. Les plus de 200 évaluations de la collection compagnon signifient qu'un laboratoire peut lancer des benchmarks standards et ses propres tâches à travers un seul pipeline.
Le bac à sable mérite du soin. Seuls `docker` et `local` sont intégrés, et `local` n'est aucun bac à sable : il tourne sous votre utilisateur. La config Docker autogénérée règle `network_mode: none`, mais fournir votre propre fichier compose l'abandonne, et le réseau par défaut de Compose atteint internet. Les montages d'hôte en écriture sont bloqués sauf si vous les activez, et la sortie au-delà de la limite d'exec de 10 Mo est coupée par l'avant sans erreur, ce qui peut changer silencieusement ce qu'un scoreur voit.
Pour une équipe produit qui veut affirmer sur des prompts en CI, les fichiers de config de promptfoo ou le style pytest de DeepEval y arrivent avec moins de code. Inspect attend Python, n'a pas de tableau de bord hébergé ni de palier payant, et sa communauté, bien qu'experte, est plus petite.
Le guide de CASRAI fait valoir un point à garder : un harnais partagé rend comparables les résultats de différents instituts, mais c'est de l'infrastructure, pas de l'assurance. La tâche que vous écrivez à l'intérieur décide encore de ce que le nombre signifie.
Là où il fait la différence
Un chercheur en sécurité dans une organisation d'évaluation indépendante
Lancer des évaluations d'agents de style capture-the-flag contre plusieurs API de pointe
Définissez la tâche avec un bac à sable Docker par échantillon et lancez-la à travers les fournisseurs depuis un seul script. Par défaut, Docker fait tourner jusqu'à deux fois plus de bacs à sable que la machine n'a de processeurs, si bien qu'une grande machine CPU raccourcit les exécutions ; la dépense est les tokens d'API plus cette machine.
Un ingénieur ML chez un développeur de modèles
Comparer un modèle ouvert fine-tuné avec une base d'API sur des benchmarks standards
Servez le modèle ouvert via vLLM, pointez Inspect vers les deux, et tirez les benchmarks de la collection de plus de 200. Un seul harnais pour les deux modèles supprime la dérive de format de prompt entre eux ; le coût est le temps GPU pour le modèle local.
Un responsable de gouvernance IA dans une banque
Produire des preuves pour une revue des risques de modèle d'un assistant interne
Faites encoder par l'équipe data science les cas de test de la banque comme tâches Inspect et archivez les logs, qui enregistrent chaque prompt, réponse et score. Gratuit à utiliser, mais il n'y a pas de contrat de support fournisseur, si bien que la banque possède le harnais.
Avant de vous engager
- Mise en route
- `pip install inspect-ai` plus le SDK du fournisseur (par exemple `pip install anthropic`) et une clé d'API ; une première évaluation tourne depuis un court fichier Python avec `inspect eval`. Docker est nécessaire pour les tâches d'agent en bac à sable.
- Intégrations
- Plus de 20 fournisseurs de modèles, inférence locale via Hugging Face, vLLM et SGLang ; bacs à sable dans Docker intégrés, avec k8s, Daytona, Modal, EC2, Proxmox, Vagrant et OpenShell comme paquets d'extension ; ControlArena et les bibliothèques d'interprétabilité se construisent dessus.
- Données et confidentialité
- Tourne sur vos machines ; les prompts ne vont qu'aux fournisseurs de modèles que vous configurez, et les logs sont écrits localement. La télémétrie n'est pas mentionnée dans la documentation. Licence MIT. Le bac à sable local donne aux agents l'accès de votre utilisateur, et les outils et scoreurs personnalisés peuvent atteindre internet même quand le bac à sable ne le peut pas.
- Coût à grande échelle
- Pas d'édition payante ou hébergée. Le coût est les tokens de modèle pour chaque échantillon et appel de noteur, plus le calcul pour les bacs à sable, qui s'étend via les extensions Kubernetes ou Modal pour les grands ensembles d'évaluation.
- Limites
- Environ 460 issues et pull requests ouvertes ; versionnement 0.x avec des versions très fréquentes ; les lectures de fichiers plafonnées à 100 Mo et la sortie d'exec à 10 Mo, tronquées silencieusement ; pas de plafond CPU ou mémoire par défaut sur les bacs à sable Docker.
Les points forts
- Bâti pour les agents, l'usage d'outils et le scoring noté par modèle
- Bac à sable Docker avec réseau désactivé par défaut, plus extensions k8s et cloud
- Visionneur de logs pas à pas et extension VS Code
- Plus de 200 évaluations prêtes à l'emploi ; utilisé dans les instituts de sécurité gouvernementaux
Les points faibles
- Python uniquement, avec plus de configuration que les outils orientés CI
- Les fichiers compose personnalisés réactivent silencieusement l'accès réseau
- Encore en 0.x avec des versions tous les quelques jours
- Communauté plus petite que promptfoo ou DeepEval
Idéal pour
Les chercheurs et équipes de sécurité qui font tourner des évaluations d'agents et de capacité.
Alternatives à Inspect
Inspect : questions fréquentes
- Inspect vaut-il le coup ?
- Inspect est le harnais partagé des tests de sécurité IA gouvernementaux et indépendants ; les équipes produit qui vérifient des prompts en CI le trouveront plus framework qu'elles n'en ont besoin. Nous lui donnons 4.4 sur 5.
- Combien coûte Inspect ?
- Gratuit et open source sous la licence MIT.
- Quels sont les inconvénients de Inspect ?
- Python uniquement, avec plus de configuration que les outils orientés CI; les fichiers compose personnalisés réactivent silencieusement l'accès réseau; encore en 0.x avec des versions tous les quelques jours; communauté plus petite que promptfoo ou DeepEval.
- À qui s’adresse Inspect ?
- Les chercheurs et équipes de sécurité qui font tourner des évaluations d'agents et de capacité.
- Combien coûte Inspect pour une équipe ou en production ?
- Pas d'édition payante ou hébergée. Le coût est les tokens de modèle pour chaque échantillon et appel de noteur, plus le calcul pour les bacs à sable, qui s'étend via les extensions Kubernetes ou Modal pour les grands ensembles d'évaluation.
- Inspect est-il sûr pour les données de l’entreprise ?
- Tourne sur vos machines ; les prompts ne vont qu'aux fournisseurs de modèles que vous configurez, et les logs sont écrits localement. La télémétrie n'est pas mentionnée dans la documentation. Licence MIT. Le bac à sable local donne aux agents l'accès de votre utilisateur, et les outils et scoreurs personnalisés peuvent atteindre internet même quand le bac à sable ne le peut pas.
- Quelles sont les meilleures alternatives à Inspect ?
- Les alternatives les plus proches que nous avons testées sont LM Evaluation Harness, promptfoo et DeepEval.
Réponses vérifiées le 23 oct. 2026.