Giskardとは？
Giskardは、LLMアプリケーションとエージェントをテストするためのオープンソースのPythonライブラリです。バージョン3は小さなパッケージに分割された書き直し版です。giskard-checksはシナリオテストを実行し、ターゲット(同期・非同期を問わない任意の関数)に一連の入力を送り、その結果を文字列一致、正規表現、意味的類似度、あるいはGroundednessやConformityといったLLMジャッジで検証します。giskard-scanは、エージェントを平易な言葉で説明するだけで敵対的なテストスイートを生成する脆弱性スキャンと、ナレッジベースからRAGのテスト質問を作る品質スキャンを追加します。
スキャンはプロンプトインジェクション、有害なコンテンツ、ステレオタイプ、誤情報を対象とし、OWASP LLM Top 10に対応づけられ、インジェクション用ペイロードのデータセットも同梱しています。Python 3.12以降と、ジャッジとジェネレーター用のLLMプロバイダーのキーが必要で、既定のモデルはopenai/gpt-4o-miniです。
リポジトリGiskard-AI/giskard-ossのスター数は約5,900で、ライセンスはApache-2.0です。同社はその上に継続的なレッドチーミングを行うEnterpriseプラットフォームを販売しており、オンプレミス、プライベートクラウド、SaaSで導 入でき、価格は公開されていません。
Giskardは使う価値があるか？
Giskardの強みは、1つの依存関係でカバーできる範囲の広さです。チームは複数ターンの会話に対する決定的なチェックとLLMによる判定を書き、自社のドキュメントからRAGの質問セットを生成し、プロンプトインジェクションや有害な出力に対する敵対的スキャンを実行できます。すべて同じPythonパッケージからです。PromptfooはYAML中心のCLIで似た領域をカバーし、DeepEvalとRagasはそれぞれその一部を担います。
v3の設計は理にかなっています。すべてはターゲット、シナリオ、チェック、スイートで表されるため、モデルへの直接呼び出しも、LangChainのエージェントも、中身の見えないHTTPエンドポイントも同じ方法でテストでき、依存関係はインストールしたパッケージの分だけです。脆弱性スキャンは、エージェントがすべきこととすべきでないことの説明からスイートを書くので、攻撃用プロンプトを手で書くより速く、独自のジェネレーターを組み込みのものと並べて登録することもできます。
注意点：問題は書き直しそのものです。v2はもう積極的には保守されておらず、表形式や従来型MLモデル向けの自動スキャンとHubとの連携はv3では予定されていません。giskard.Modelとgiskard.Datasetを使うプロジェクトは、アップグレードではなく移行を迫られます。Python 3.12が最低条件で、古い本番イメージの多くはこれで除外されます。
2つの既定値に注意が必要です。LLMジャッジとスキャンのジェネレーターはどれも有料プロバイダーを呼び出し、設定しなければgpt-4o-miniが使われます。そのため大き なスキャンにはトークン料金がかかり、テスト用プロンプトもそのプロバイダーに送られます。匿名テレメトリーは既定で有効です。READMEによればプロンプトや出力は送信されず、DO_NOT_TRACK=1で無効にできます。
「このエージェントは公開できるほど安全で根拠に基づいているか」を問うチームにとって、Giskardは有力なオープンソースの出発点です。CIのダッシュボードや履歴が必要なチームは、引き続きトレーシング基盤と組み合わせることになります。
真価を発揮する場面
従業員60人の保険会社でカスタマーサポート用エージェントを公開するMLエンジニア
公開前に、エージェントが説得されて契約データを漏らさないことを確かめる
エージェントの役割と禁止事項を記述して脆弱性スキャンを実行し、生成されたプロンプトインジェクションのシナリオを回帰テストとして残します。費用はジェネレーターとジャッジが使うLLMのトークン代です。
社内ドキュメント向けRAGアシスタントを運用するプラットフォームチーム
再インデックス後も回答が根拠に基づいているかを測る
quality_scanをナレッジベースに向けて質問を生成し、インデックスを作り直すたびにCIでGroundednessチェックを実行します。品質の低下はユーザーの苦情ではなく、失敗したシナリオとして現れます。
導入前に確認すること
- 導入
- チェック用にpip install giskard、スキャン用にgiskard[scan]を入れ、giskard[openai]などのプロバイダー用エクストラとそのAPIキーを用意します。Python 3.12以降が必要です。
- 連携
- 同期・非同期の任意の関数をラップするので、LangChain、LlamaIndex、SDKの直接呼び出し、HTTPエンドポイントのいずれでも動きます。LLM呼び出しはgiskard-llm経由で任意のプロバイダーに送られ、pytestやノートブックで実行できます。
- データとプライバシー
- ローカルで動作し、テスト用プロンプトはジャッジとジェネレーターに設定したLLMプロバイダーに送られます。集計テレメトリーは既定で有効(プロンプトや出力は含まない)で、DO_NOT_TRACK=1またはGISKARD_TELEMETRY_DISABLED=1で無効にできます。
- 大規模利用時のコスト
- ライブラリは無料で、運用コストはジャッジとジェネレーターのトークン代です。継続的レッドチーミングとSSOを備えたEnterpriseプラットフォームの価格は公開されていません。
- 制限
- v2の表形式・MLモデル向けスキャンはv3で予定されていません。料金ページにある50以上の敵対的プローブはEnterpriseプラットフォームのもので、ライブラリのものではありません。
良い点
- シナリオテスト、RAG評価、レッドチーミングスキャンを1つのApache-2.0ライブラリで提供
- エージェントの平易な説明から敵対的スイートを生成
- OWASP LLM Top 10に対応し、インジェクション用ペイロードを同梱
- モジュール式パッケージで依存関係を小さく保てる
気になる点
- v3は表形式・MLモデル向けスキャンを廃止し、v2は積極的に保守されていない
- Python 3.12以降が必要
- ジャッジとスキャンは既定で有料のLLMプロバイダーを呼び出す
- 無効にしない限りテレメトリーが有効
おすすめの人
エージェントのシナリオテストと公開前のレッドチーミングスキャンを、1つのオープンソースライブラリで済ませたいPythonチーム。
Giskardの代替
Giskard：よくある質問
- Giskardは使う価値があるか？
- Giskardは複数ターンのエージェントテストとOWASPに沿ったレッドチーミングスキャンを1つのApache-2.0ライブラリにまとめていますが、v3はまだ若く、v2ユーザーが頼っていた表形式モデル向けスキャンを廃止しています。 評価は5点満点中4.0点です。
- Giskardの料金は？
- ライブラリは無料のオープンソース(Apache-2.0)。Enterpriseプラットフォーム(継続的レッドチーミング、SSO、RBAC、オンプレミスまたはSaaS)は要問い合わせ。
- Giskardの欠点は？
- v3は表形式・MLモデル向けスキャンを廃止し、v2は積極的に保守されていない; Python 3.12以降が必要; ジャッジとスキャンは既定で有料のLLMプロバイダーを呼び出す; 無効にしない限りテレメトリーが有効.
- Giskardは誰に向いているか？
- エージェ ントのシナリオテストと公開前のレッドチーミングスキャンを、1つのオープンソースライブラリで済ませたいPythonチーム。
- チームや本番環境でGiskardを使うと費用はいくらか？
- ライブラリは無料で、運用コストはジャッジとジェネレーターのトークン代です。継続的レッドチーミングとSSOを備えたEnterpriseプラットフォームの価格は公開されていません。
- Giskardは企業データを扱っても安全か？
- ローカルで動作し、テスト用プロンプトはジャッジとジェネレーターに設定したLLMプロバイダーに送られます。集計テレメトリーは既定で有効(プロンプトや出力は含まない)で、DO_NOT_TRACK=1またはGISKARD_TELEMETRY_DISABLED=1で無効にできます。
- Giskardの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はpromptfoo, DeepEval, DeepTeam 、 garakです。
回答確認日：2026年11月6日
Giskardの開発元の方へ：この評価をサイトに掲載できます
