Qu’est-ce que Giskard ?
Giskard est une bibliothèque Python open source pour tester les applications LLM et les agents. La version 3 est une réécriture découpée en petits paquets : giskard-checks exécute des tests de scénarios, dans lesquels une cible (n'importe quelle fonction synchrone ou asynchrone) reçoit une suite d'entrées et la trace est vérifiée par correspondance de texte, expressions régulières, similarité sémantique ou juges LLM comme Groundedness et Conformity ; giskard-scan ajoute un scan de vulnérabilités qui génère des suites adverses à partir d'une description de votre agent en langage courant, et un scan de qualité qui construit des questions de test RAG à partir d'une base de connaissances.
Le scan couvre l'injection de prompt, les contenus nuisibles, les stéréotypes et la désinformation, rattachés à l'OWASP LLM Top 10, et fournit un jeu de charges d'injection. Il exige Python 3.12 ou plus récent et une clé d'un fournisseur LLM pour les juges et les générateurs ; le modèle par défaut est openai/gpt-4o-mini.
Le dépôt Giskard-AI/giskard-oss compte environ 5 900 étoiles et est sous Apache-2.0. L'entreprise vend par-dessus une plateforme Enterprise de red teaming continu, déployable sur site, en cloud privé ou en SaaS, sans prix publié.
Giskard vaut-il le coup ?
L'argument de Giskard, c'est l'étendue dans une seule dépendance. Une équipe peut écrire des vérifications déterministes et jugées par un LLM pour une conversation à plusieurs tours, générer un jeu de questions RAG à partir de ses propres documents et lancer un scan adverse contre l'injection de prompt et les sorties nuisibles, le tout depuis le même paquet Python. Promptfoo couvre un terrain voisin avec une CLI centrée sur YAML ; DeepEval et Ragas en couvrent chacun une partie.
La conception de la v3 est sensée. Tout est une cible, un scénario, une vérification et une suite, si bien qu'un appel direct à un modèle, un agent LangChain et un endpoint HTTP en boîte noire se testent de la même façon, et seuls les paquets installés ajoutent des dépendances. Le scan de vulnérabilités écrit sa suite à partir d'une description de ce que l'agent doit faire et ne pas faire, ce qui est plus rapide que de rédiger des prompts d'attaque à la main, et des générateurs maison peuvent être enregistrés à côté de ceux fournis.
Le hic, c'est la réécriture. La v2 n'est plus activement maintenue, et son scan automatique des modèles tabulaires et de ML classique, avec l'intégration au Hub, n'est pas prévu pour la v3. Les projets fondés sur giskard.Model et giskard.Dataset font face à une migration, pas à une mise à jour. Python 3.12 est le minimum, ce qui exclut beaucoup d'images de production anciennes.
Deux réglages par défaut méritent attention. Chaque juge LLM et chaque générateur du scan appelle un fournisseur payant, gpt-4o-mini sauf configuration contraire, si bien qu'un gros scan a une facture de tokens et envoie vos prompts de test à ce fournisseur. La télémétrie anonyme est active par défaut ; le README indique qu'aucun prompt ni aucune sortie n'est envoyé, et DO_NOT_TRACK=1 la désactive.
Pour une équipe dont la question est "cet agent est-il assez sûr et fondé pour être lancé ?", Giskard est un solide point de départ open source ; les équipes qui ont besoin de tableaux de bord CI et d'historique l'associeront encore à une plateforme de traçage.
Là où il fait la différence
Un ingénieur ML qui lance un agent de service client chez un assureur de 60 personnes
Vérifier avant le lancement qu'on ne peut pas pousser l'agent à divulguer des données de contrats
Décrivez le rôle de l'agent et les actions interdites, lancez le scan de vulnérabilités et conservez les scénarios d'injection de prompt générés comme suite de régression. Le coût correspond aux tokens LLM des générateurs et des juges.
Une équipe plateforme qui exploite un assistant RAG sur la documentation interne
Mesurer si les réponses restent fondées après une réindexation
Pointez quality_scan vers la base de connaissances pour générer des questions, puis lancez des vérifications Groundedness en CI à chaque reconstruction de l'index ; une baisse apparaît sous forme de scénarios en échec plutôt que de plaintes d'utilisateurs.
Avant de vous engager
- Mise en route
- pip install giskard pour les vérifications, ou giskard[scan] pour les scans, plus un extra fournisseur comme giskard[openai] et sa clé d'API ; Python 3.12 ou plus récent.
- Intégrations
- Enveloppe toute fonction synchrone ou asynchrone, donc fonctionne avec LangChain, LlamaIndex, des appels SDK directs ou un endpoint HTTP ; les appels LLM passent par giskard-llm vers n'importe quel fournisseur ; s'exécute sous pytest ou dans des notebooks.
- Données et confidentialité
- S'exécute en local ; les prompts de test partent chez le fournisseur LLM configuré pour les juges et générateurs. La télémétrie agrégée est active par défaut, sans prompts ni sorties, et se désactive avec DO_NOT_TRACK=1 ou GISKARD_TELEMETRY_DISABLED=1.
- Coût à grande échelle
- La bibliothèque est gratuite ; le coût d'exploitation, ce sont les tokens des juges et générateurs. La plateforme Enterprise avec red teaming continu et SSO n'a pas de prix publié.
- Limites
- Le scan des modèles tabulaires et de ML de la v2 n'est pas prévu pour la v3 ; la page de tarifs annonce plus de 50 sondes adverses pour la plateforme Enterprise, pas pour la bibliothèque.
Les points forts
- Tests de scénarios, évaluation RAG et scan de red teaming dans une bibliothèque Apache-2.0
- Suites adverses générées à partir d'une description de l'agent en langage courant
- Rattaché à l'OWASP LLM Top 10, avec un jeu de charges d'injection intégré
- Paquets modulaires qui limitent les dépendances
Les points faibles
- La v3 abandonne le scan des modèles tabulaires et de ML ; la v2 n'est plus activement maintenue
- Exige Python 3.12 ou plus récent
- Juges et scans appellent par défaut un fournisseur LLM payant
- Télémétrie active tant que vous ne la désactivez pas
Idéal pour
Équipes Python qui veulent des tests de scénarios d'agents et un scan de red teaming avant lancement depuis une seule bibliothèque open source.
Alternatives à Giskard
Giskard : questions fréquentes
- Giskard vaut-il le coup ?
- Giskard réunit tests d'agents multi-tours et scan de red teaming aligné sur l'OWASP dans une seule bibliothèque Apache-2.0, mais la v3 est jeune et abandonne le scan de modèles tabulaires sur lequel comptaient les utilisateurs de la v2. Nous lui donnons 4.0 sur 5.
- Combien coûte Giskard ?
- Bibliothèque gratuite et open source (Apache-2.0). Plateforme Enterprise (red teaming continu, SSO, RBAC, sur site ou SaaS) sur devis.
- Quels sont les inconvénients de Giskard ?
- La v3 abandonne le scan des modèles tabulaires et de ML ; la v2 n'est plus activement maintenue; exige Python 3.12 ou plus récent; juges et scans appellent par défaut un fournisseur LLM payant; télémétrie active tant que vous ne la désactivez pas.
- À qui s’adresse Giskard ?
- Équipes Python qui veulent des tests de scénarios d'agents et un scan de red teaming avant lancement depuis une seule bibliothèque open source.
- Combien coûte Giskard pour une équipe ou en production ?
- La bibliothèque est gratuite ; le coût d'exploitation, ce sont les tokens des juges et générateurs. La plateforme Enterprise avec red teaming continu et SSO n'a pas de prix publié.
- Giskard est-il sûr pour les données de l’entreprise ?
- S'exécute en local ; les prompts de test partent chez le fournisseur LLM configuré pour les juges et générateurs. La télémétrie agrégée est active par défaut, sans prompts ni sorties, et se désactive avec DO_NOT_TRACK=1 ou GISKARD_TELEMETRY_DISABLED=1.
- Quelles sont les meilleures alternatives à Giskard ?
- Les alternatives les plus proches que nous avons testées sont promptfoo, DeepEval, DeepTeam et garak.
Réponses vérifiées le 6 nov. 2026.
Vous éditez Giskard ? Affichez cette note sur votre site
