O que é promptfoo?
O promptfoo é uma ferramenta de linha de comando e uma biblioteca para testar aplicações de LLM. Você descreve prompts, provedores e casos de teste em um arquivo YAML, e ele os executa e mostra uma matriz de comparação.
Ele também faz red teaming: gera entradas adversariais para encontrar prompt injection, jailbreaks, vazamentos de dados e uso inseguro de ferramentas. Funciona com modelos da OpenAI, Anthropic, Google e provedores de código aberto, e se encaixa em pipelines de CI.
Em 9 de março de 2026, a OpenAI anunciou que havia concordado em adquirir o promptfoo, para incorporar sua tecnologia ao OpenAI Frontier, sua plataforma de agentes para empresas, e disse que o projeto continuaria de código aberto sob a atual licença MIT. A página About do promptfoo agora diz que a empresa faz parte da OpenAI; nenhuma data de conclusão foi publicada. Não encontramos nenhum aviso público de conclusão do negócio.
promptfoo vale a pena?
O promptfoo é o caminho mais curto entre não ter testes de LLM e tê-los no CI, e em março de 2026 concordou em ser comprado pela OpenAI, cujos modelos muitas equipes usam a ferramenta para avaliar. Tem cerca de 26,500 estrelas no GitHub, o pacote npm chegou à 0.125.1 em 25 de outubro de 2026, e o próprio site do promptfoo agora diz que ele faz parte da OpenAI. A configuração é um config YAML, alguns casos de teste com asserções e um comando.
O red teaming é o que o separa da maioria das bibliotecas de avaliação. Ele gera ataques de prompt injection, jailbreaks e exfiltração de dados e relata o que passou. O porém é onde esses ataques são criados: a geração roda no serviço hospedado do promptfoo por padrão, e o nível gratuito Community limita o red teaming a 10,000 sondagens por mês. O uso offline exige definir PROMPTFOO_DISABLE_REMOTE_GENERATION e apontá-lo para um modelo local.
Os padrões merecem atenção. A CLI envia telemetria de uso, a menos que PROMPTFOO_DISABLE_TELEMETRY esteja definido, e quando você está logado isso inclui seu ID de usuário e endereço de e-mail, mas não prompts, saídas ou chaves. O visualizador web auto-hospedado explicitamente não é para produção: usa um banco SQLite local, não tem autenticação embutida e quebra se rodar com mais de uma réplica. Dashboards compartilhados, SSO e monitoramento contínuo são recursos do Enterprise, a um preço não publicado.
A OpenAI diz que o promptfoo continuará com licença MIT e seguirá suportando outros provedores, e a Repello, uma concorrente, relatou dois meses depois do anúncio que a CLI e o schema de config não tinham mudado, enquanto perguntava se as empresas querem que seu avaliador pertença ao fornecedor avaliado. Para benchmarks de pesquisa, Inspect e o LM Evaluation Harness são mais adequados, e equipes de Python podem achar o estilo pytest do DeepEval mais natural do que uma ferramenta que exige Node.js 22.
Onde ele se destaca
Um engenheiro de backend que mantém um bot de suporte com RAG
Detectar regressões quando o prompt ou o modelo muda
Manter um promptfooconfig.yaml com perguntas reais de clientes e asserções, e rodar promptfoo eval no GitHub Actions a cada pull request. Gratuito; cada execução custa tokens de modelo para cada caso de teste vezes cada provedor comparado, mais quaisquer asserções avaliadas por modelo.
Um líder de segurança de aplicações em uma fintech que lança um agente com ferramentas
Fazer red team do agente contra prompt injection e exfiltração de dados antes do lançamento
Rodar promptfoo redteam contra um endpoint de staging; o Community cobre 10,000 sondagens por mês. A geração de ataques passa pelo serviço hospedado do promptfoo, a menos que a geração remota seja desativada e um modelo local seja usado, o que importa se a descrição do app for confidencial.
Um chefe de governança de IA em um banco com uma dúzia de apps de LLM
Mostrar aos auditores testes de segurança repetíveis em todos os apps
O Enterprise ou o On-Premise acrescenta dashboards compartilhados, SSO, histórico de varreduras pesquisável e relatórios de frameworks de conformidade, com preço sob consulta. A questão de compras agora é a propriedade e o roadmap da OpenAI, não a lista de recursos.
Antes de decidir
- Configuração
- npx promptfoo@latest init ou uma instalação global via npm, em Node.js 22.22 ou posterior; uma primeira avaliação roda a partir do YAML gerado em minutos.
- Integrações
- Os provedores incluem OpenAI, Anthropic, Google e modelos locais via Ollama ou alvos HTTP personalizados; roda em CI como o GitHub Actions; produtos separados de action de varredura de código e de proxy MCP.
- Dados e privacidade
- A telemetria de uso vem ligada por padrão e inclui ID de usuário e e-mail quando logado, mas não prompts nem saídas. A geração de red team usa um serviço hospedado, a menos que PROMPTFOO_DISABLE_REMOTE_GENERATION esteja definido. Os resultados ficam em um banco SQLite local. Licença MIT.
- Custo em escala
- A CLI é gratuita; a conta são os tokens de modelo, aproximadamente casos de teste vezes provedores vezes repetições por execução, mais as asserções avaliadas por modelo. Red teaming acima de 10,000 sondagens por mês, dashboards compartilhados e SSO exigem o Enterprise, com preço sob consulta.
- Limites
- Cerca de 840 issues e pull requests abertos; o servidor auto-hospedado não escala além de uma réplica e não tem autenticação; não foi projetado como executor de benchmarks acadêmicos.
O que é bom
- Testes em YAML que rodam no CI com um comando
- Plugins amplos de red team para injection e vazamentos de dados
- Funciona com OpenAI, Anthropic, Google e modelos locais
- Licença MIT
O que não é
- Pertence à OpenAI, um fornecedor de modelos
- Telemetria e geração hospedada de ataques ligadas por padrão
- O visualizador auto-hospedado não tem autenticação nem escala
- Exige Node.js 22.22 ou posterior
Ideal para
Equipes que lançam apps de LLM e querem testes de regressão e varreduras de segurança no CI.
Alternativas ao promptfoo
promptfoo: perguntas frequentes
- promptfoo vale a pena?
- O promptfoo transforma testes de regressão de LLM e varreduras de red team em um arquivo YAML e um comando de CI; o novo dono é o ponto a observar. Damos nota 4.5 de 5.
- Quanto custa promptfoo?
- CLI gratuita e de código aberto (MIT); o uso Community inclui red teaming de até 10,000 sondagens por mês. Enterprise (nuvem gerenciada) e On-Premise têm preço sob consulta.
- Quais são as desvantagens de promptfoo?
- Pertence à OpenAI, um fornecedor de modelos; telemetria e geração hospedada de ataques ligadas por padrão; o visualizador auto-hospedado não tem autenticação nem escala; exige Node.js 22.22 ou posterior.
- Para quem promptfoo é indicado?
- Equipes que lançam apps de LLM e querem testes de regressão e varreduras de segurança no CI.
- Quanto custa promptfoo para uma equipe ou em produção?
- A CLI é gratuita; a conta são os tokens de modelo, aproximadamente casos de teste vezes provedores vezes repetições por execução, mais as asserções avaliadas por modelo. Red teaming acima de 10,000 sondagens por mês, dashboards compartilhados e SSO exigem o Enterprise, com preço sob consulta.
- promptfoo é seguro para dados da empresa?
- A telemetria de uso vem ligada por padrão e inclui ID de usuário e e-mail quando logado, mas não prompts nem saídas. A geração de red team usa um serviço hospedado, a menos que PROMPTFOO_DISABLE_REMOTE_GENERATION esteja definido. Os resultados ficam em um banco SQLite local. Licença MIT.
- Quais são as melhores alternativas ao promptfoo?
- As alternativas mais próximas que analisamos são DeepEval, Inspect e Ragas.
Respostas verificadas em 26 de out. de 2026.