¿Qué es Inspect?
Inspect es un framework de evaluación para grandes modelos de lenguaje y agentes, desarrollado por el UK AI Security Institute con Meridian Labs, una organización sin ánimo de lucro. Las evaluaciones se escriben en Python como tareas compuestas por un conjunto de datos, un solver (cómo se da el prompt al modelo o cómo se ejecuta como agente) y un scorer.
Admite uso de herramientas, agentes de varios turnos y ejecución aislada en Docker, con Kubernetes, Modal, EC2, Proxmox y otros disponibles como extensiones. Se comunica con más de 20 proveedores de modelos, además de modelos locales a través de Hugging Face, vLLM y SGLang, e incluye un visor de registros (`inspect view`) y una extensión de VS Code. Una colección aparte ofrece más de 200 evaluaciones listas para usar.
La versión 0.3.283 se publicó el 21 de octubre de 2026.
¿Merece la pena Inspect?
Inspect es el entorno de pruebas común del mundo de la seguridad de IA más que el ejecutor de pruebas de un equipo de producto, y sus unas 3.070 estrellas en GitHub lo infravaloran mucho. Meridian Labs dice que es el framework estándar en el UK AISI, el US CAISI, la EU AI Office y los institutos de Japón y Corea, y en METR, Apollo, Epoch y RAND; esa lista es autodeclarada. También avanza deprisa: seis versiones entre el 9 y el 21 de octubre de 2026, todas aún en la 0.3.x.
El diseño da resultado en las evaluaciones difíciles. Los agentes de varios pasos, las llamadas a herramientas, la puntuación hecha por modelos y las transcripciones largas son ciudadanos de primera, y el visor de registros permite recorrer cada mensaje de cada muestra. Las más de 200 evaluaciones de la colección complementaria permiten a un laboratorio ejecutar benchmarks estándar y sus propias tareas por un mismo pipeline.
El aislamiento merece cuidado. Solo `docker` y `local` vienen integrados, y `local` no es un aislamiento en absoluto: se ejecuta como tu usuario. La configuración de Docker generada automáticamente fija `network_mode: none`, pero al aportar tu propio archivo compose eso desaparece, y la red por defecto de Compose llega a internet. Los montajes del equipo anfitrión con escritura están bloqueados salvo que los permitas, y la salida que supera el límite de 10 MB de exec se recorta por el principio sin dar error, lo que puede cambiar en silencio lo que ve un scorer.
Para un equipo de producto que quiere hacer aserciones sobre prompts en CI, los archivos de configuración de promptfoo o el estilo pytest de DeepEval llegan con menos código. Inspect exige Python, no tiene panel alojado ni nivel de pago, y su comunidad, aunque experta, es más pequeña.
La guía de CASRAI apunta lo que conviene retener: un entorno compartido hace comparables los resultados de distintos institutos, pero es infraestructura, no garantía. La tarea que escribes dentro sigue decidiendo qué significa la cifra.
Dónde se gana su sitio
Una investigadora de seguridad en una organización de evaluación independiente
Ejecutar evaluaciones de agentes de tipo capture-the-flag contra varias API punteras
Definir la tarea con un sandbox de Docker por muestra y ejecutarla en varios proveedores desde un mismo script. Por defecto, Docker ejecuta hasta el doble de sandboxes que procesadores tiene la máquina, así que una máquina con muchas CPU acorta las ejecuciones; el gasto son los tokens de la API más esa máquina.
Un ingeniero de ML en un desarrollador de modelos
Comparar un modelo abierto ajustado con una API de referencia en benchmarks estándar
Servir el modelo abierto con vLLM, apuntar Inspect a ambos y tomar los benchmarks de la colección de más de 200. Un mismo entorno para los dos modelos elimina las diferencias de formato de prompt entre ellos; el coste es el tiempo de GPU del modelo local.
Una responsable de gobernanza de IA en un banco
Aportar pruebas para una revisión de riesgo de modelos de un asistente interno
Hacer que el equipo de ciencia de datos codifique los casos de prueba del banco como tareas de Inspect y archive los registros, que guardan cada prompt, respuesta y puntuación. Su uso es gratuito, pero no hay contrato de soporte con un proveedor, así que el banco se hace cargo del entorno.
Antes de decidirte
- Puesta en marcha
- `pip install inspect-ai` más el SDK del proveedor (por ejemplo `pip install anthropic`) y una clave de API; una primera evaluación se ejecuta desde un archivo corto de Python con `inspect eval`. Docker es necesario para las tareas de agentes aisladas.
- Integraciones
- Más de 20 proveedores de modelos, inferencia local mediante Hugging Face, vLLM y SGLang; sandboxes de Docker integrados, con k8s, Daytona, Modal, EC2, Proxmox, Vagrant y OpenShell como paquetes de extensión; ControlArena y bibliotecas de interpretabilidad se construyen sobre él.
- Datos y privacidad
- Se ejecuta en tus máquinas; los prompts van solo a los proveedores de modelos que configures, y los registros se escriben en local. La documentación no menciona telemetría. Licencia MIT. El sandbox local da a los agentes el acceso de tu usuario, y las herramientas y scorers propios pueden llegar a internet aunque el sandbox no pueda.
- Coste a escala
- Sin edición de pago ni alojada. El coste son los tokens del modelo de cada muestra y cada llamada al evaluador, más el cómputo de los sandboxes, que escala mediante las extensiones de Kubernetes o Modal para conjuntos de evaluación grandes.
- Límites
- Unas 460 incidencias y pull requests abiertas; versionado 0.x con versiones muy frecuentes; lecturas de archivos limitadas a 100 MB y salida de exec a 10 MB, recortadas en silencio; sin límite predeterminado de CPU ni de memoria en los sandboxes de Docker.
Lo bueno
- Pensado para agentes, uso de herramientas y puntuación hecha por modelos
- Sandbox de Docker con la red desactivada por defecto, más extensiones para k8s y la nube
- Visor de registros paso a paso y extensión de VS Code
- Más de 200 evaluaciones listas; usado por institutos de seguridad gubernamentales
Lo malo
- Solo Python, y requiere más configuración que las herramientas orientadas a CI
- Los archivos compose propios reactivan en silencio el acceso a la red
- Sigue en 0.x con versiones cada pocos días
- Comunidad más pequeña que la de promptfoo o DeepEval
Ideal para
Investigadores y equipos de seguridad que ejecutan evaluaciones de agentes y de capacidades.
Alternativas a Inspect
Inspect: preguntas frecuentes
- ¿Merece la pena Inspect?
- Inspect es el entorno de pruebas compartido de las evaluaciones de seguridad de IA gubernamentales e independientes; los equipos de producto que comprueban prompts en CI lo encontrarán más framework de lo que necesitan. Le damos un 4.4 sobre 5.
- ¿Cuánto cuesta Inspect?
- Gratuito y de código abierto bajo la licencia MIT.
- ¿Qué inconvenientes tiene Inspect?
- Solo Python, y requiere más configuración que las herramientas orientadas a CI; los archivos compose propios reactivan en silencio el acceso a la red; sigue en 0.x con versiones cada pocos días; comunidad más pequeña que la de promptfoo o DeepEval.
- ¿Para quién es Inspect?
- Investigadores y equipos de seguridad que ejecutan evaluaciones de agentes y de capacidades.
- ¿Cuánto cuesta Inspect para un equipo o en producción?
- Sin edición de pago ni alojada. El coste son los tokens del modelo de cada muestra y cada llamada al evaluador, más el cómputo de los sandboxes, que escala mediante las extensiones de Kubernetes o Modal para conjuntos de evaluación grandes.
- ¿Es Inspect seguro para los datos de la empresa?
- Se ejecuta en tus máquinas; los prompts van solo a los proveedores de modelos que configures, y los registros se escriben en local. La documentación no menciona telemetría. Licencia MIT. El sandbox local da a los agentes el acceso de tu usuario, y las herramientas y scorers propios pueden llegar a internet aunque el sandbox no pueda.
- ¿Cuáles son las mejores alternativas a Inspect?
- Las alternativas más cercanas que hemos analizado son LM Evaluation Harness, promptfoo y DeepEval.
Respuestas comprobadas el 23 oct 2026.