新しい種類のAIモデルは、答えを文章で書く代わりに、選択肢の一覧から1回の素早い処理で選ぶだけです。研究者はこれをSystem Oneモデルと呼び、リクエストの振り分け、ツールの選択、作業が終わったかの確認などにますます使われています。arXivに投稿されたベンチマークSO-Arenaは、これらについて二つの問いを立てます。どれほど有能か、そしてその判断が揺らがないと信頼できるか、です。主な発見は、この二つの答えが一致しないということです。
ベンチマークは11分野の2,919タスクからなり、テキスト理解、知識と推論、安全と方針、証拠の判断、エージェント作業の遂行という五つのグループに分かれています。参照ラベルは、モデルが実際に見られる情報で裏づけられているかを人手で確認しており、多くの分野は難易度別に分けられています。エージェント作業はサンドボックスで行われ、ウェブやツールで正しい次の行動を選べるかと、記録された実行を正しく判定できるかの両方を試します。信頼性は別に二つのテストで測ります。選択肢の順番を入れ替えても答えが変わらないか、正しい選択肢が取り除かれたときにそれに気づくか、です。
試された21モデルには、0.4Bから31Bパラメータまでのオープンな重みのSystem Oneモデル16個、非公開の判定サービスであるJev API 1.14とOpenAI Decisions、そして参照用の通常の推論モデルGPT-6 SolとLunaが含まれます。推論モデルが依然として首位で、GPT-6 Solは82.3、Lunaは79.7でした。最良の高速モデルであるGLiDEとKnowLine-31BはLunaに約10ポイント差をつけられ、Jev API 1.14は60.4でした。信頼性では順位が入 れ替わります。要旨によると、最も性能の高いSystem Oneモデルは信頼性では7位にとどまり、最も信頼できたJevAny-27Bは能力の表ではかなり下位にいます。選択肢を並べ替えても多くのモデルは答えを保ち、18個中14個が0.83から0.94の間でしたが、正解が欠けていることに気づけるかどうかは大きくばらつきました。
開発者にとっては実用的な指針になります。私たちがレビューしているJevや、Googleの新しいDecisions APIのような判定モデルで振り分けや方針の適用を行うなら、能力のランキングだけを最適化するのは誤りです。正しい選択肢がないのに提示された選択肢の一つを自信満々に選ぶモデルは、やや性能が劣っても欠落を知らせるモデルより悪いことがあります。論文はまた、難易度が上がると性能が落ち、特にエージェント作業で顕著だとしています。
限界は出たばかりのプレプリントにつきものです。査読は受けておらず、いくつかのモデルは小規模であまり知られていない開発元のものです。信頼性スコアは二つの指標を組み合わせており、その重み付けは読者によって評価が分かれるでしょう。結果は各モデルのある時点での公式設定を反映したもので、こうしたサービスは頻繁に更新されます。