Elo レーティング(モデルアリーナ)
モデルアリーナにおける Elo レーティング(Elo rating)とは、モデルのペアどうしの多数の一対一の投票から計算するスコアです。2 つのスコアの差から、一方のモデルの回答がもう一方よりどれくらいの頻度で好まれるかを予測できます。
別名: arena score, Bradley-Terry, Elo score, Bradley-Terry model
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
Elo のシステムは、対局の結果からチェスのプレーヤーを順位付けするために考案されました。モデルアリーナがこれを借りたのは、データの形が同じだからです。2 つのモデルが 1 つのプロンプトに答え、人がよいほうの返答を選び、その結果が勝ち、負け、引き分けとして数えられます。
仕組み
各モデルに数値が与えられます。評価の高いモデルが評価の低いモデルに勝つと、両方のスコアが少し動きます。番狂わせならより大きく動きます。何千もの投票を経て、2 つのスコアの差が期待される勝率に対応するように数値が落ち着きます。
Elo と Bradley-Terry の違い
従来の Elo は 1 試合ごとにスコアを更新するので、試合の順番が結果に影響します。時間とともに実力が変わるプレーヤーには合っていますが、モデルのバージョンは変わりません。Chatbot Arena の論文によれば、リーダーボードは Elo のスコアから Bradley-Terry 係数に移行しました。これはすべての投票に一度に当てはめる一対比較の統計モデルで、統計的な推定に適しているからです。論文は、あるモデルが別のモデルに勝つ確率を両者の係数の差のロジスティック関数として説明し、各スコアの信頼区間を報告しています。LMArena な どのリーダーボードは、今でもその結果をアリーナスコアや Elo 式のレーティングと呼んでいます。
読み方
絶対的な数値そのものには意味がありません。意味があるのは差だけで、それも同じリーダーボードの中に限ります。信頼区間を見てください。区間が重なっている 2 つのモデルの順位は信頼できません。レーティングは誰が投票し何を尋ねるかにも左右されるので、アリーナスコアが反映するのは一般的なチャットでの好みであり、あなたのタスクでの性能ではありません。タスクに特化した AI ベンチマークや、自分で行う人による評価と組み合わせてください。
関連用語
- リーダーボード(AI)
- AI のリーダーボード(leaderboard)とは、1 つ以上のベンチマークのスコアや人の選好の投票に基づいてモデルを並べた公開のランキングです。新しいモデルがテストされるたびに更新され、読者はモデルを並べて比較できます。
- LMArena
- LMArenaは、当初Chatbot Arenaとして知られた公開プラットフォームで、クラウドソーシングによる人間の投票でAIモデルをランク付けします。ユーザーは同じプロンプトに答える匿名の2つのモデルを見て、より良い応答を選びます。
- 人による評価
- 人による評価(human evaluation)とは、自動化された指標ではなく人によって AI の出力を判定することです。たとえば評価者がルーブリックに沿って回答を採点したり、ブラインドテストで匿名の 2 つの回答のうちよいほうを選んだりします。
- AI ベンチマーク
- AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。