O que é Giskard?
Giskard é uma biblioteca Python de código aberto para testar aplicações LLM e agentes. A versão 3 é uma reescrita dividida em pacotes pequenos: giskard-checks executa testes de cenário, em que um alvo (qualquer função síncrona ou assíncrona) recebe uma sequência de entradas e o rastro é verificado com correspondência de texto, expressões regulares, similaridade semântica ou juízes LLM como Groundedness e Conformity; giskard-scan acrescenta uma varredura de vulnerabilidades que gera suítes adversárias a partir de uma descrição do seu agente em linguagem comum, e uma varredura de qualidade que monta perguntas de teste RAG a partir de uma base de conhecimento.
A varredura cobre injeção de prompt, conteúdo nocivo, estereótipos e desinformação, mapeados para o OWASP LLM Top 10, e traz um conjunto de payloads de injeção. Exige Python 3.12 ou posterior e uma chave de um provedor de LLM para os juízes e geradores; o modelo padrão é openai/gpt-4o-mini.
O repositório, Giskard-AI/giskard-oss, tem cerca de 5.900 estrelas e licença Apache-2.0. A empresa vende por cima uma plataforma Enterprise de red teaming contínuo, com implantação on-premises, nuvem privada ou SaaS e sem preço publicado.
Giskard vale a pena?
O argumento do Giskard é amplitude em uma única dependência. Uma equipe pode escrever verificações determinísticas e avaliadas por LLM para uma conversa de vários turnos, gerar um conjunto de perguntas RAG a partir dos próprios documentos e rodar uma varredura adversária contra injeção de prompt e saídas nocivas, tudo do mesmo pacote Python. O Promptfoo cobre um terreno parecido com uma CLI centrada em YAML; DeepEval e Ragas cobrem, cada um, uma fatia.
O desenho da v3 é sensato. Tudo é um alvo, um cenário, uma verificação e uma suíte, então uma chamada direta a um modelo, um agente LangChain e um endpoint HTTP de caixa-preta são testados da mesma forma, e só os pacotes que você instala puxam dependências. A varredura de vulnerabilidades escreve sua suíte a partir de uma descrição do que o agente deve e não deve fazer, o que é mais rápido do que redigir prompts de ataque à mão, e geradores próprios podem ser registrados ao lado dos incluídos.
O porém é a reescrita. A v2 não é mais mantida ativamente, e sua varredura automática de modelos tabulares e de ML clássico, com a integração ao Hub, não está prevista para a v3. Projetos baseados em giskard.Model e giskard.Dataset enfrentam uma migração, não uma atualização. Python 3.12 é o mínimo, o que exclui muitas imagens de produção antigas.
Dois padrões merecem atenção. Cada juiz LLM e cada gerador da varredura chama um provedor pago, gpt-4o-mini se nada for configurado, então uma varredura grande tem uma conta de tokens e envia seus prompts de teste a esse provedor. A telemetria anônima vem ligada por padrão; o README diz que nenhum prompt ou saída é enviado, e DO_NOT_TRACK=1 a desliga.
Para uma equipe cuja pergunta é "este agente é seguro e fundamentado o bastante para ir ao ar?", o Giskard é um ponto de partida forte de código aberto; equipes que precisam de painéis de CI e histórico ainda vão combiná-lo com uma plataforma de rastreamento.
Onde ele se destaca
Um engenheiro de ML lançando um agente de atendimento em uma seguradora de 60 pessoas
Verificar antes do lançamento que o agente não pode ser convencido a vazar dados de apólices
Descreva o papel do agente e as ações proibidas, rode a varredura de vulnerabilidades e mantenha os cenários de injeção de prompt gerados como suíte de regressão. O custo são os tokens de LLM usados por geradores e juízes.
Uma equipe de plataforma com um assistente RAG sobre a documentação interna
Medir se as respostas continuam fundamentadas depois de reindexar
Aponte quality_scan para a base de conhecimento para gerar perguntas e rode verificações de Groundedness na CI a cada reconstrução do índice; uma queda aparece como cenários falhando, e não como reclamações de usuários.
Antes de decidir
- Configuração
- pip install giskard para as verificações, ou giskard[scan] para as varreduras, mais um extra de provedor como giskard[openai] e a respectiva chave de API; Python 3.12 ou posterior.
- Integrações
- Envolve qualquer função síncrona ou assíncrona, então funciona com LangChain, LlamaIndex, chamadas diretas de SDK ou um endpoint HTTP; chamadas LLM vão a qualquer provedor via giskard-llm; roda sob pytest ou em notebooks.
- Dados e privacidade
- Roda localmente; os prompts de teste vão ao provedor de LLM que você configurar para juízes e geradores. A telemetria agregada vem ligada por padrão, sem prompts nem saídas, e é desligada com DO_NOT_TRACK=1 ou GISKARD_TELEMETRY_DISABLED=1.
- Custo em escala
- A biblioteca é gratuita; o custo de operação são os tokens de juízes e geradores. A plataforma Enterprise com red teaming contínuo e SSO não tem preço publicado.
- Limites
- A varredura de modelos tabulares e de ML da v2 não está prevista para a v3; a página de preços cita mais de 50 sondas adversárias para a plataforma Enterprise, não para a biblioteca.
O que é bom
- Testes de cenário, avaliação RAG e varredura de red teaming em uma biblioteca Apache-2.0
- Suítes adversárias geradas a partir de uma descrição do agente em linguagem comum
- Mapeado para o OWASP LLM Top 10, com um conjunto de payloads de injeção incluído
- Pacotes modulares mantêm as dependências pequenas
O que não é
- A v3 abandona a varredura de modelos tabulares e de ML; a v2 não é mais mantida ativamente
- Exige Python 3.12 ou posterior
- Juízes e varreduras chamam por padrão um provedor de LLM pago
- Telemetria ligada até você desativá-la
Ideal para
Equipes Python que querem testes de cenário de agentes e uma varredura de red teaming antes do lançamento em uma única biblioteca de código aberto.
Alternativas ao Giskard
Giskard: perguntas frequentes
- Giskard vale a pena?
- Giskard reúne testes de agentes com vários turnos e uma varredura de red teaming alinhada ao OWASP em uma única biblioteca Apache-2.0, mas a v3 é nova e abandona a varredura de modelos tabulares de que os usuários da v2 dependiam. Damos nota 4.0 de 5.
- Quanto custa Giskard?
- Biblioteca gratuita e de código aberto (Apache-2.0). Plataforma Enterprise (red teaming contínuo, SSO, RBAC, on-premises ou SaaS) com preço sob consulta.
- Quais são as desvantagens de Giskard?
- A v3 abandona a varredura de modelos tabulares e de ML; a v2 não é mais mantida ativamente; exige Python 3.12 ou posterior; juízes e varreduras chamam por padrão um provedor de LLM pago; telemetria ligada até você desativá-la.
- Para quem Giskard é indicado?
- Equipes Python que querem testes de cenário de agentes e uma varredura de red teaming antes do lançamento em uma única biblioteca de código aberto.
- Quanto custa Giskard para uma equipe ou em produção?
- A biblioteca é gratuita; o custo de operação são os tokens de juízes e geradores. A plataforma Enterprise com red teaming contínuo e SSO não tem preço publicado.
- Giskard é seguro para dados da empresa?
- Roda localmente; os prompts de teste vão ao provedor de LLM que você configurar para juízes e geradores. A telemetria agregada vem ligada por padrão, sem prompts nem saídas, e é desligada com DO_NOT_TRACK=1 ou GISKARD_TELEMETRY_DISABLED=1.
- Quais são as melhores alternativas ao Giskard?
- As alternativas mais próximas que analisamos são promptfoo, DeepEval, DeepTeam e garak.
Respostas verificadas em 6 de nov. de 2026.
Você faz o Giskard? Mostre esta nota no seu site
