¿Qué es Giskard?
Giskard es una biblioteca de Python de código abierto para probar aplicaciones LLM y agentes. La versión 3 es una reescritura dividida en paquetes pequeños: giskard-checks ejecuta pruebas de escenarios, en las que un objetivo (cualquier función síncrona o asíncrona) recibe una secuencia de entradas y la traza se comprueba con coincidencias de texto, expresiones regulares, similitud semántica o jueces LLM como Groundedness y Conformity; giskard-scan añade un escaneo de vulnerabilidades que genera baterías adversarias a partir de una descripción en lenguaje natural de tu agente, y un escaneo de calidad que crea preguntas de prueba RAG desde una base de conocimiento.
El escaneo cubre inyección de prompts, contenido dañino, estereotipos y desinformación, alineado con el OWASP LLM Top 10, e incluye un conjunto de cargas de inyección. Requiere Python 3.12 o posterior y una clave de un proveedor de LLM para los jueces y los generadores; el modelo por defecto es openai/gpt-4o-mini.
El repositorio, Giskard-AI/giskard-oss, tiene unas 5.900 estrellas y licencia Apache-2.0. La empresa vende encima una plataforma Enterprise de red teaming continuo, con despliegue on-premises, nube privada o SaaS y sin precio publicado.
¿Merece la pena Giskard?
El argumento de Giskard es la amplitud en una sola dependencia. Un equipo puede escribir comprobaciones deterministas y con juez LLM para una conversación de varios turnos, generar un conjunto de preguntas RAG desde sus propios documentos y lanzar un escaneo adversario de inyección de prompts y salidas dañinas, todo desde el mismo paquete de Python. Promptfoo cubre un terreno parecido desde una CLI basada en YAML; DeepEval y Ragas cubren cada uno una parte.
El diseño de la v3 es sensato. Todo es un objetivo, un escenario, una comprobación y una batería, así que una llamada directa a un modelo, un agente de LangChain y un endpoint HTTP de caja negra se prueban igual, y solo los paquetes que instalas arrastran dependencias. El escaneo de vulnerabilidades escribe su batería a partir de una descripción de lo que el agente debe y no debe hacer, lo que es más rápido que redactar prompts de ataque a mano, y se pueden registrar generadores propios junto a los incluidos.
La pega es la reescritura. La v2 ya no se mantiene activamente, y su escaneo automático de modelos tabulares y de ML clásico, con la integración del Hub, no está previsto para la v3. Los proyectos basados en giskard.Model y giskard.Dataset se enfrentan a una migración, no a una actualización. Python 3.12 es el mínimo, lo que excluye muchas imágenes de producción antiguas.
Dos valores por defecto merecen atención. Cada juez LLM y cada generador del escaneo llama a un proveedor de pago, gpt-4o-mini salvo que configures otro, así que un escaneo grande tiene una factura de tokens y envía tus prompts de prueba a ese proveedor. La telemetría anónima está activada por defecto; el README dice que no se envían prompts ni salidas, y DO_NOT_TRACK=1 la desactiva.
Para un equipo cuya pregunta es "¿es este agente lo bastante seguro y fundamentado para lanzarlo?", Giskard es un punto de partida sólido de código abierto; los equipos que necesiten paneles de CI e historial seguirán combinándolo con una plataforma de trazas.
Dónde se gana su sitio
Un ingeniero de ML que lanza un agente de atención al cliente en una aseguradora de 60 personas
Comprobar antes del lanzamiento que no se puede convencer al agente de filtrar datos de pólizas
Describe el papel del agente y las acciones prohibidas, ejecuta el escaneo de vulnerabilidades y conserva los escenarios de inyección de prompts generados como batería de regresión. El coste son los tokens de LLM que usan los generadores y los jueces.
Un equipo de plataforma con un asistente RAG sobre documentación interna
Medir si las respuestas siguen fundamentadas tras reindexar
Apunta quality_scan a la base de conocimiento para generar preguntas y ejecuta comprobaciones de Groundedness en CI en cada reconstrucción del índice; una caída aparece como escenarios fallidos y no como quejas de usuarios.
Antes de decidirte
- Puesta en marcha
- pip install giskard para las comprobaciones, o giskard[scan] para los escaneos, más un extra de proveedor como giskard[openai] y su clave de API; Python 3.12 o posterior.
- Integraciones
- Envuelve cualquier función síncrona o asíncrona, así que funciona con LangChain, LlamaIndex, llamadas directas al SDK o un endpoint HTTP; las llamadas LLM van a cualquier proveedor mediante giskard-llm; se ejecuta con pytest o en notebooks.
- Datos y privacidad
- Se ejecuta en local; los prompts de prueba van al proveedor de LLM que configures para jueces y generadores. La telemetría agregada está activada por defecto, sin prompts ni salidas, y se desactiva con DO_NOT_TRACK=1 o GISKARD_TELEMETRY_DISABLED=1.
- Coste a escala
- La biblioteca es gratuita; el coste de uso son los tokens de jueces y generadores. La plataforma Enterprise con red teaming continuo y SSO no tiene precio publicado.
- Límites
- El escaneo de modelos tabulares y de ML de la v2 no está previsto para la v3; la página de precios cita más de 50 sondas adversarias para la plataforma Enterprise, no para la biblioteca.
Lo bueno
- Pruebas de escenarios, evaluación RAG y escaneo de red teaming en una biblioteca Apache-2.0
- Baterías adversarias generadas desde una descripción en lenguaje natural del agente
- Alineado con el OWASP LLM Top 10, con un conjunto de cargas de inyección incluido
- Paquetes modulares que mantienen pocas dependencias
Lo malo
- La v3 elimina el escaneo de modelos tabulares y de ML; la v2 ya no se mantiene activamente
- Requiere Python 3.12 o posterior
- Los jueces y escaneos llaman por defecto a un proveedor de LLM de pago
- Telemetría activada salvo que la desactives
Ideal para
Equipos de Python que quieren pruebas de escenarios de agentes y un escaneo de red teaming previo al lanzamiento desde una sola biblioteca de código abierto.
Alternativas a Giskard
Giskard: preguntas frecuentes
- ¿Merece la pena Giskard?
- Giskard reúne pruebas de agentes de varios turnos y un escaneo de red teaming alineado con OWASP en una sola biblioteca Apache-2.0, pero la v3 es joven y elimina el escaneo de modelos tabulares en el que confiaban los usuarios de la v2. Le damos un 4.0 sobre 5.
- ¿Cuánto cuesta Giskard?
- Biblioteca gratuita y de código abierto (Apache-2.0). Plataforma Enterprise (red teaming continuo, SSO, RBAC, on-premises o SaaS) con precio bajo consulta.
- ¿Qué inconvenientes tiene Giskard?
- La v3 elimina el escaneo de modelos tabulares y de ML; la v2 ya no se mantiene activamente; requiere Python 3.12 o posterior; los jueces y escaneos llaman por defecto a un proveedor de LLM de pago; telemetría activada salvo que la desactives.
- ¿Para quién es Giskard?
- Equipos de Python que quieren pruebas de escenarios de agentes y un escaneo de red teaming previo al lanzamiento desde una sola biblioteca de código abierto.
- ¿Cuánto cuesta Giskard para un equipo o en producción?
- La biblioteca es gratuita; el coste de uso son los tokens de jueces y generadores. La plataforma Enterprise con red teaming continuo y SSO no tiene precio publicado.
- ¿Es Giskard seguro para los datos de la empresa?
- Se ejecuta en local; los prompts de prueba van al proveedor de LLM que configures para jueces y generadores. La telemetría agregada está activada por defecto, sin prompts ni salidas, y se desactiva con DO_NOT_TRACK=1 o GISKARD_TELEMETRY_DISABLED=1.
- ¿Cuáles son las mejores alternativas a Giskard?
- Las alternativas más cercanas que hemos analizado son promptfoo, DeepEval, DeepTeam y garak.
Respuestas comprobadas el 6 nov 2026.
¿Desarrollas Giskard? Muestra esta nota en tu web
