O que é Inspect?
Inspect é um framework de avaliação para grandes modelos de linguagem e agentes, desenvolvido pelo UK AI Security Institute com a Meridian Labs, uma organização sem fins lucrativos. Você escreve as avaliações em Python como tarefas compostas por um conjunto de dados, um solver (como o modelo recebe o prompt ou é executado como agente) e um scorer.
Ele oferece uso de ferramentas, agentes de vários turnos e execução isolada em Docker, com Kubernetes, Modal, EC2, Proxmox e outros disponíveis como extensões. Conversa com mais de 20 provedores de modelos, além de modelos locais via Hugging Face, vLLM e SGLang, e traz um visualizador de logs (`inspect view`) e uma extensão para VS Code. Uma coleção separada oferece mais de 200 avaliações prontas.
A versão 0.3.283 foi publicada em 21 de outubro de 2026.
Inspect vale a pena?
Inspect é a estrutura de testes comum do mundo da segurança de IA, e não o executor de testes de uma equipe de produto, e suas cerca de 3.070 estrelas no GitHub subestimam muito isso. A Meridian Labs diz que ele é o framework padrão no UK AISI, no US CAISI, no EU AI Office e nos institutos do Japão e da Coreia, e também na METR, Apollo, Epoch e RAND; essa lista é autodeclarada. Ele também avança rápido: seis versões entre 9 e 21 de outubro de 2026, todas ainda na 0.3.x.
O design compensa nas avaliações difíceis. Agentes de várias etapas, chamadas de ferramentas, pontuação feita por modelos e transcrições longas são tratados como prioridade, e o visualizador de logs permite percorrer cada mensagem de cada amostra. As mais de 200 avaliações da coleção complementar permitem que um laboratório rode benchmarks padrão e suas próprias tarefas pelo mesmo pipeline.
O isolamento pede cuidado. Só `docker` e `local` vêm embutidos, e `local` não isola nada: ele roda como o seu usuário. A configuração de Docker gerada automaticamente define `network_mode: none`, mas fornecer seu próprio arquivo compose elimina isso, e a rede padrão do Compose alcança a internet. Montagens graváveis do host ficam bloqueadas a menos que você as autorize, e a saída acima do limite de 10 MB do exec é cortada pelo início sem erro, o que pode mudar em silêncio o que um scorer vê.
Para uma equipe de produto que quer fazer asserções sobre prompts em CI, os arquivos de configuração do promptfoo ou o estilo pytest do DeepEval chegam lá com menos código. Inspect exige Python, não tem painel hospedado nem plano pago, e sua comunidade, embora especializada, é menor.
O guia da CASRAI traz o ponto que vale guardar: uma estrutura compartilhada torna comparáveis os resultados de institutos diferentes, mas é infraestrutura, não garantia. A tarefa que você escreve dentro dela continua decidindo o que o número significa.
Onde ele se destaca
Uma pesquisadora de segurança em uma organização de avaliação independente
Rodar avaliações de agentes no estilo capture-the-flag contra várias APIs de ponta
Definir a tarefa com um sandbox Docker por amostra e executá-la em vários provedores a partir de um único script. Por padrão, o Docker roda até o dobro de sandboxes em relação ao número de processadores da máquina, então uma máquina com muitas CPUs encurta as execuções; o gasto são os tokens de API mais essa máquina.
Um engenheiro de ML em uma desenvolvedora de modelos
Comparar um modelo aberto ajustado com uma API de referência em benchmarks padrão
Servir o modelo aberto via vLLM, apontar o Inspect para os dois e puxar benchmarks da coleção de mais de 200. Uma única estrutura para os dois modelos elimina a divergência de formato de prompt entre eles; o custo é o tempo de GPU do modelo local.
Uma líder de governança de IA em um banco
Produzir evidências para uma revisão de risco de modelo de um assistente interno
Pedir à equipe de ciência de dados que codifique os casos de teste do banco como tarefas do Inspect e arquive os logs, que registram cada prompt, resposta e pontuação. O uso é gratuito, mas não há contrato de suporte com um fornecedor, então o banco é dono da estrutura.
Antes de decidir
- Configuração
- `pip install inspect-ai` mais o SDK do provedor (por exemplo `pip install anthropic`) e uma chave de API; uma primeira avaliação roda a partir de um arquivo Python curto com `inspect eval`. Docker é necessário para tarefas de agentes em sandbox.
- Integrações
- Mais de 20 provedores de modelos, inferência local via Hugging Face, vLLM e SGLang; sandboxes em Docker embutidos, com k8s, Daytona, Modal, EC2, Proxmox, Vagrant e OpenShell como pacotes de extensão; ControlArena e bibliotecas de interpretabilidade são construídas sobre ele.
- Dados e privacidade
- Roda nas suas máquinas; os prompts vão apenas para os provedores de modelos que você configurar, e os logs são gravados localmente. A documentação não menciona telemetria. Licença MIT. O sandbox local dá aos agentes o acesso do seu usuário, e ferramentas e scorers personalizados podem alcançar a internet mesmo quando o sandbox não pode.
- Custo em escala
- Não há edição paga nem hospedada. O custo são os tokens do modelo em cada amostra e cada chamada ao avaliador, mais a computação dos sandboxes, que escala pelas extensões de Kubernetes ou Modal para grandes conjuntos de avaliação.
- Limites
- Cerca de 460 issues e pull requests abertos; versionamento 0.x com versões muito frequentes; leitura de arquivos limitada a 100 MB e saída do exec a 10 MB, truncadas em silêncio; sem limite padrão de CPU ou memória nos sandboxes Docker.
O que é bom
- Feito para agentes, uso de ferramentas e pontuação feita por modelos
- Sandbox Docker com rede desligada por padrão, além de extensões para k8s e nuvem
- Visualizador de logs passo a passo e extensão para VS Code
- Mais de 200 avaliações prontas; usado por institutos governamentais de segurança
O que não é
- Só Python, com mais configuração do que ferramentas voltadas a CI
- Arquivos compose próprios reativam em silêncio o acesso à rede
- Ainda na 0.x, com versões a cada poucos dias
- Comunidade menor que a do promptfoo ou do DeepEval
Ideal para
Pesquisadores e equipes de segurança que executam avaliações de agentes e de capacidades.
Alternativas ao Inspect
Inspect: perguntas frequentes
- Inspect vale a pena?
- Inspect é a estrutura de testes compartilhada das avaliações de segurança de IA governamentais e independentes; equipes de produto que verificam prompts em CI vão achá-lo mais framework do que precisam. Damos nota 4.4 de 5.
- Quanto custa Inspect?
- Gratuito e de código aberto sob a licença MIT.
- Quais são as desvantagens de Inspect?
- Só Python, com mais configuração do que ferramentas voltadas a CI; arquivos compose próprios reativam em silêncio o acesso à rede; ainda na 0.x, com versões a cada poucos dias; comunidade menor que a do promptfoo ou do DeepEval.
- Para quem Inspect é indicado?
- Pesquisadores e equipes de segurança que executam avaliações de agentes e de capacidades.
- Quanto custa Inspect para uma equipe ou em produção?
- Não há edição paga nem hospedada. O custo são os tokens do modelo em cada amostra e cada chamada ao avaliador, mais a computação dos sandboxes, que escala pelas extensões de Kubernetes ou Modal para grandes conjuntos de avaliação.
- Inspect é seguro para dados da empresa?
- Roda nas suas máquinas; os prompts vão apenas para os provedores de modelos que você configurar, e os logs são gravados localmente. A documentação não menciona telemetria. Licença MIT. O sandbox local dá aos agentes o acesso do seu usuário, e ferramentas e scorers personalizados podem alcançar a internet mesmo quando o sandbox não pode.
- Quais são as melhores alternativas ao Inspect?
- As alternativas mais próximas que analisamos são LM Evaluation Harness, promptfoo e DeepEval.
Respostas verificadas em 23 de out. de 2026.