LM Evaluation Harnessとは？
EleutherAIによるLM Evaluation Harnessは、固定されたプロンプトと採点方法を用いて、言語モデルをMMLU、HellaSwag、GSM8Kなどの60以上の標準的な学術ベンチマーク（数百のサブタスクおよびバリアントを含む）に対して実行し、結果を比較可能にします。
Hugging Face Transformers、vLLM、SGLang、GGUFおよびllama.cppサーバー、NVIDIA NeMoおよびMegatron-LM、ONNX Runtimeなどを通じてモデルを読み込み、OpenAI、Anthropic、LiteLLMの配下にあるあらゆるサービスを含むホスト型APIを呼び出します。2025年3月にHugging Faceが引退させ、読み取り専用アーカイブとしてオンラインに維持しているOpen LLM Leaderboardのバックエンドとして機能し、数百の論文に登場しています。
2026年8月31日にバージョン0.4.13が公開されました。2026年9月の変更により、フォークを作成することなく、独自のパッケージからバックエンド、メトリクス、フィルターをプラグインとして登録できるようになりました。
LM Evaluation Harnessは使う価値があるか？
本ハーネスはモデルを測定するものであり、多くの論文やリーダーボードで利用されているため、その数値は研究室間で通用する数少ない指標となっています。それがこのツールの価値のすべてです。ファインチューニングによって一般的な能力が損なわれていないかを確認したり、同じプロンプトで2つのベースモデルを比較したりするためのツールであり、独自のプロンプト、検索パイプライン、エージェントをテストするものではありません。
実用上の最大の難点は、ホスト型チャットAPIではクラシックなベンチマークの多くを設計通りに実行できないことです。READMEには、OpenAI ChatCompletions、Anthropic、LiteLLMはlogprobsのない生成専用として記載されており、多肢選択式MMLUやperplexityなどの対数尤度タスクには、ローカルの重み、またはプロンプトのlogprobsを返すAPIが必要で す。クローズドモデルの場合、生成タスクにおける回答抽出が暗黙的に失敗することがあるため、メンテナーはまず--limit 10でいくつかの出力を確認することを推奨しています。
プロジェクトの導入はより軽量になりました。2025年12月以降、ベースパッケージにはPyTorchやTransformersが含まれなくなり、必要に応じてlm_eval[hf]、[vllm]、または[api]をインストールする形式になりました。マルチGPU実行はaccelerateまたはvLLMを通じて動作しますが、マルチノード評価はネイティブではサポートされていません。
開発活動はやや落ち着いており、最終コミットは2026年9月14日で、未解決のIssueとプルリクエストは約1,240件存在します。プロンプト形式やfew-shot設定によってスコアが変動するため、本ハーネスによる数値は、同一のバージョンおよび設定で生成された他の数値とのみ比較可能です。エージェントや安全性の評価については、研究室の間でInspectを採用する動きが広がっています。
真価を発揮する場面
1台の80 GB GPUで8Bモデルをファインチューニングする機械学習エンジニア
ファインチューニングによって一般的な能力が失われていないか確認すること
vllmバックエンドと--batch_size autoを使用して、ベースモデルと調整済みチェックポイントに対してMMLU、HellaSwag、GSM8Kなどの同一タスクセットを実行します。API料金ではなくGPU時間の消費で済み、--use_cacheにより中断した実行を再開できます。
新しいオープンウェイトモデルを公開する研究チーム
査読者に受け入れられるベンチマーク数値を報告すること
ハーネスのバージョンを固定し、few-shotとchat-templateの設定を記録した上で、他の研究者が再現できるように--hf_hub_log_argsを使用して結果とサンプルごとのログをHugging Faceデータセットにプッシュします。
調達判断のために2つのホスト型モデルを比較選定するAIプラットフォーム責任者
推論および数学ベンチマークでベンダーを比較すること
GSM8Kなどの生成タスクに対してopenai-chat-completionsまたはanthropic-chatバックエンドを使用します。ベンチマークの各項目はベンダーのトークン価格で課金されるAPI呼び出しとなり、これらのAPIでは多肢選択式の対数尤度タスクは利用できません。
導入前に確認すること
- 導入
- pip install lm-eval（Python 3.10以降）に加えて、lm_eval[hf]やlm_eval[vllm]などのextraをインストールします。--model、--model_args、--tasksを指定した1つのlm_evalコマンドで最初のスコアが生成されます。ローカルモ デルにはその規模に応じたGPUが必要です。lm-eval ls tasksで使用可能なすべてのタスクが一覧表示されます。
- 連携
- Transformers（PEFTアダプターおよびGPTQを含む）、vLLM、SGLang、llama.cpp、NeMo、Megatron-LM、OpenVINO、AWS Neuron、ONNX Runtime、Windows ML、OpenAI、Anthropic、Watsonx、LiteLLM API、ならびにあらゆるOpenAI互換サーバーに対応しています。結果はWeights and Biases、Zeno、またはHugging Face Hubに出力できます。
- データとプライバシー
- ローカルで実行されます。ホスト型モデルのAPIを呼び出すか、独自のトークンを使用してHubに結果をプッシュしない限り、データが外部に出ることはありません。一部のモデルでは、モデルリポジトリのコードを実行するtrust_remote_codeが必要です。リポジトリにセキュリティアドバイザリは公開されていません。MITライセンスです。
- 大規模利用時のコスト
- ソフトウェア自体は無償であり、コストはローカルモデルのGPU稼働時間またはホスト型モデルのトークン単位のAPI料金となります。大規模モデルに対する完全なスイートの実行には相当なGPU処理が必要となるため、チームは通常、チェックポイントごとに固定のサブセットを実行し、スモークテストには--limitを使用します。
- 制限
- チャットAPIでは生成のみに限定される点、llama.cppサーバーではperplexityが未実装である点、APIのバグによりCohereがブロックされている点、ネイティブのマルチノード実行に対応していない点などが挙げられます。プロンプト形式の変更によるスコアの変動が生じるため、結果には使用したバージョンを明記する必要があります。
良い点
- 数百のサブタスクを含む60以上のベンチマーク
- 広く引用されており、論文間でスコアの比較が可能
- TransformersやvLLMからNeMo、ONNX、LiteLLMに至るまでのバックエンド
- フォークすることなく独自のバックエンドやメトリクスを追加できるプラグインシステム
気になる点
- チャットAPIでは標準的なMMLUなどの対数尤度タスクを実行不可
- 測定対象はモデルであり、ユーザーのアプリケーションではない
- ネイティブのマルチノード評価に非対応
- 約1,240件のオー プンなIssueおよびPR
おすすめの人
標準ベンチマークでモデルを比較する研究者およびモデルトレーナーに適しています。
LM Evaluation Harnessの代替
LM Evaluation Harness：よくある質問
- LM Evaluation Harnessは使う価値があるか？
- モデルベンチマークにおける共通の尺度であり、その上に構築されたアプリケーションを評価するためのツールではありません。 評価は5点満点中4.4点です。
- LM Evaluation Harnessの料金は？
- MITライセンスに基づく無償のオープンソースです。
- LM Evaluation Harnessの欠点は？
- チャットAPIでは標準的なMMLUなどの対数尤度タスクを実行不可; 測定対象はモデルであり、ユーザーのアプリケーションではない; ネイティブのマルチノード評価に非対応; 約1,240件のオープンなIssueおよびPR.
- LM Evaluation Harnessは誰に向いているか？
- 標準ベンチマークでモデルを比較する研究者およびモデルトレーナーに適しています。
- チームや本番環境でLM Evaluation Harnessを使うと費用はいくらか？
- ソフトウェア自体は無償であり、コストはローカルモデルのGPU稼働時間またはホスト型モデルのトークン単位のAPI料金となります。大規模モデルに対する完全なスイートの実行には相当なGPU処理が必要となるため、チームは通常、チェックポイントごとに固定のサブセットを実行し、スモークテストには--limitを使用します。
- LM Evaluation Harnessは企業データを扱っても安全か？
- ローカルで実行されます。ホスト型モデルのAPIを呼び出すか、独自のトークンを使用してHubに結果をプッシ ュしない限り、データが外部に出ることはありません。一部のモデルでは、モデルリポジトリのコードを実行するtrust_remote_codeが必要です。リポジトリにセキュリティアドバイザリは公開されていません。MITライセンスです。
- LM Evaluation Harnessの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はInspect, DeepEval 、 promptfooです。
回答確認日：2026年10月26日