LMArena
LMArenaは、当初Chatbot Arenaとして知られた公開プラットフォームで、クラウドソーシングによる人間の投票でAIモデルをランク付けします。ユーザーは同じプロンプトに答える匿名の2つのモデルを見て、より良い応答を選びます。
別名: Chatbot Arena, Arena, LMSYS Arena
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
LMArenaは、2024年の論文で説明されたオープンな研究プラットフォームであるChatbot Arenaから生まれ、現在そのサイトは単にArenaと名乗っています。論文の著者らは、これを言語モデルのリーダーボードの中で最も参照されるものの1つと呼んでいます。
仕組み
バトルモードでは、ユーザーがプロンプトを入力し、匿名の2つのモデルから回答を受け取ります。ユーザーが良い方に投票して初めて、モデル名が明かされます。名前を伏せることでブラインドテストになり、ブランドが投票を左右しません。プラットフォームはこうした多数のペア比較の投票をElo方式のレーティングに変換し、テキスト、コーディング、ビジョン、画像、動画などのタスクごとにリーダーボードを公開しています。元の論文では、当時240,000票を超える投票があったと報告し、クラウドの投票が専門家の評価とよく一致することを確認しています。
なぜ役立つか
Arenaのスコアは、モデルが暗記できる固定のテストではなく、実際のプロンプトで実際のユーザーが何を好むかを反映します。そのため、MMLUのような静的なベンチマークを補うものとして役立ちます。チ ームは人間の選好に関するオープンなデータセットや、スタイル制御などの手法に関する研究も公開しています。
限界
選好は正しさではありません。投票者は長い回答、自信のある回答、見栄えよく整形された回答を好むことがあり、プロンプトの大半は長いタスクではなく短いチャットです。ラボはリリース前のモデルをプラットフォーム上でテストでき、リーダーボードがどう操作されうるかを調べた研究もあります。Arenaの高順位は「人々がその回答を気に入った」という意味に読み、人間による評価や自分のユースケースでのテストで確認してください。
関連用語
- Elo レーティング(モデルアリーナ)
- モデルアリーナにおける Elo レーティング(Elo rating)とは、モデルのペアどうしの多数の一対一の投票から計算するスコアです。2 つのスコアの差から、一方のモデルの回答がもう一方よりどれくらいの頻度で好まれるかを予測できます。
- リーダーボード(AI)
- AI のリーダーボード(leaderboard)とは、1 つ以上のベンチマークのスコアや人の選好の投票に基づいてモデルを並べた公開のランキングです。新しいモデルがテストされるたびに更新され、読者はモデルを並べて比較できます。
- 人による評価
- 人による評価(human evaluation)とは、自動化された指標ではなく人によって AI の出力を判定することです。たとえば評価者がルーブリックに沿って回答を採点したり、ブラインドテストで匿名の 2 つの回答のうちよいほうを選んだりします。
- LLM 評価
- LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。