¿Qué es promptfoo?
promptfoo es una herramienta de línea de comandos y una biblioteca para probar aplicaciones de LLM. Describes los prompts, los proveedores y los casos de prueba en un archivo YAML, y la herramienta los ejecuta y muestra una matriz comparativa.
También hace red teaming: genera entradas adversariales para encontrar inyección de prompts, jailbreaks, fugas de datos y uso inseguro de herramientas. Funciona con modelos de OpenAI, Anthropic, Google y proveedores de código abierto, y encaja en pipelines de CI.
El 9 de marzo de 2026 OpenAI anunció que había acordado comprar promptfoo para integrar su tecnología en OpenAI Frontier, su plataforma de agentes para empresas, y dijo que el proyecto seguiría siendo de código abierto con su licencia MIT actual. La página About de promptfoo dice ahora que la empresa forma parte de OpenAI; no se ha publicado una fecha de cierre. No encontramos ningún aviso público del cierre de la operación.
¿Merece la pena promptfoo?
promptfoo es el camino más corto entre no tener pruebas de LLM y tenerlas en CI, y en marzo de 2026 aceptó ser comprado por OpenAI, cuyos modelos califican con él muchos equipos. Tiene unas 26.500 estrellas en GitHub, el paquete de npm llegó a la 0.125.1 el 25 de octubre de 2026 y el propio sitio de promptfoo dice ahora que forma parte de OpenAI. La configuración es un YAML, unos cuantos casos de prueba con aserciones y un comando.
El red teaming es lo que lo separa de la mayoría de bibliotecas de evaluación. Genera ataques de inyección de prompts, jailbreaks y exfiltración de datos e informa de lo que ha pasado. La pega es dónde se crean esos ataques: por defecto, la generación se hace en el servicio alojado de promptfoo, y el nivel gratuito Community limita el red teaming a 10.000 sondeos al mes. Para usarlo sin conexión hay que definir PROMPTFOO_DISABLE_REMOTE_GENERATION y apuntarlo a un modelo local.
Los valores por defecto merecen una mirada. La CLI envía telemetría de uso salvo que se defina PROMPTFOO_DISABLE_TELEMETRY, y cuando has iniciado sesión eso incluye tu ID de usuario y tu dirección de correo, aunque no las instrucciones, las salidas ni las claves. El visor web autoalojado no es para producción, y lo dice expresamente: usa una base de datos SQLite local, no tiene autenticación integrada y falla si se ejecuta con más de una réplica. Los paneles compartidos, el SSO y la supervisión continua son funciones de Enterprise a un precio no publicado.
OpenAI dice que promptfoo seguirá con licencia MIT y seguirá admitiendo otros proveedores, y Repello, un competidor, informó dos meses después del anuncio de que la CLI y el esquema de configuración no habían cambiado, aunque se preguntaba si las empresas quieren que su evaluador sea propiedad del proveedor al que evalúan. Para benchmarks de investigación encajan mejor Inspect y el LM Evaluation Harness, y a los equipos de Python el estilo pytest de DeepEval puede resultarles más natural que una herramienta que necesita Node.js 22.
Dónde se gana su sitio
Un ingeniero de backend que mantiene un bot de soporte con RAG
Detectar regresiones cuando cambia el prompt o el modelo
Mantener un promptfooconfig.yaml con preguntas reales de clientes y aserciones, y ejecutar promptfoo eval en GitHub Actions en cada pull request. Gratis; cada ejecución cuesta los tokens del modelo de cada caso de prueba por cada proveedor comparado, más las aserciones calificadas por modelo.
La responsable de seguridad de aplicaciones de una fintech que lanza un agente con herramientas
Someter el agente a red teaming por inyección de prompts y exfiltración de datos antes del lanzamiento
Ejecutar promptfoo redteam contra un endpoint de staging; Community cubre 10.000 sondeos al mes. La generación de ataques pasa por el servicio alojado de promptfoo salvo que se desactive la generación remota y se use un modelo local, lo que importa si la descripción de la app es confidencial.
El responsable de gobernanza de IA de un banco con una docena de apps de LLM
Demostrar a los auditores pruebas de seguridad repetibles en todas las apps
Enterprise u On-Premise añaden paneles compartidos, SSO, historial de análisis consultable e informes por marco de cumplimiento, con precio bajo presupuesto. La cuestión en compras ahora es la propiedad y la hoja de ruta de OpenAI, no la lista de funciones.
Antes de decidirte
- Puesta en marcha
- npx promptfoo@latest init o una instalación global con npm, con Node.js 22.22 o posterior; una primera evaluación se ejecuta en minutos desde el YAML generado.
- Integraciones
- Los proveedores incluyen OpenAI, Anthropic, Google y modelos locales a través de Ollama o destinos HTTP personalizados; funciona en CI como GitHub Actions; hay productos aparte de acción de análisis de código y proxy MCP.
- Datos y privacidad
- La telemetría de uso está activada por defecto e incluye el ID de usuario y el correo si has iniciado sesión, pero no las instrucciones ni las salidas. La generación de red team usa un servicio alojado salvo que se defina PROMPTFOO_DISABLE_REMOTE_GENERATION. Los resultados se guardan en una base de datos SQLite local. Licencia MIT.
- Coste a escala
- La CLI es gratis; la factura son los tokens del modelo, aproximadamente casos de prueba por proveedores por repeticiones en cada ejecución, más las aserciones calificadas por modelo. El red teaming por encima de 10.000 sondeos al mes, los paneles compartidos y el SSO requieren Enterprise, con precio bajo presupuesto.
- Límites
- Unas 840 incidencias y pull requests abiertas; el servidor autoalojado no escala más allá de una réplica y no tiene autenticación; no está pensado como ejecutor de benchmarks académicos.
Lo bueno
- Pruebas en YAML que se ejecutan en CI con un solo comando
- Amplios plugins de red team para inyección y fugas de datos
- Funciona con modelos de OpenAI, Anthropic, Google y locales
- Licencia MIT
Lo malo
- Propiedad de OpenAI, un proveedor de modelos
- Telemetría y generación de ataques alojada activadas por defecto
- El visor autoalojado no tiene autenticación ni escala
- Requiere Node.js 22.22 o posterior
Ideal para
Equipos que lanzan apps de LLM y quieren pruebas de regresión y análisis de seguridad en CI.
Alternativas a promptfoo
promptfoo: preguntas frecuentes
- ¿Merece la pena promptfoo?
- promptfoo convierte las pruebas de regresión de LLM y los análisis de red team en un archivo YAML y un solo comando de CI; su nuevo propietario es lo que hay que vigilar. Le damos un 4.5 sobre 5.
- ¿Cuánto cuesta promptfoo?
- CLI gratis y de código abierto (MIT); el uso Community incluye red teaming hasta 10.000 sondeos al mes. Enterprise (nube gestionada) y On-Premise se presupuestan.
- ¿Qué inconvenientes tiene promptfoo?
- Propiedad de OpenAI, un proveedor de modelos; telemetría y generación de ataques alojada activadas por defecto; el visor autoalojado no tiene autenticación ni escala; requiere Node.js 22.22 o posterior.
- ¿Para quién es promptfoo?
- Equipos que lanzan apps de LLM y quieren pruebas de regresión y análisis de seguridad en CI.
- ¿Cuánto cuesta promptfoo para un equipo o en producción?
- La CLI es gratis; la factura son los tokens del modelo, aproximadamente casos de prueba por proveedores por repeticiones en cada ejecución, más las aserciones calificadas por modelo. El red teaming por encima de 10.000 sondeos al mes, los paneles compartidos y el SSO requieren Enterprise, con precio bajo presupuesto.
- ¿Es promptfoo seguro para los datos de la empresa?
- La telemetría de uso está activada por defecto e incluye el ID de usuario y el correo si has iniciado sesión, pero no las instrucciones ni las salidas. La generación de red team usa un servicio alojado salvo que se defina PROMPTFOO_DISABLE_REMOTE_GENERATION. Los resultados se guardan en una base de datos SQLite local. Licencia MIT.
- ¿Cuáles son las mejores alternativas a promptfoo?
- Las alternativas más cercanas que hemos analizado son DeepEval, Inspect y Ragas.
Respuestas comprobadas el 26 oct 2026.