本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index は、ベンチマーク企業の Artificial Analysis が算出する総合スコアです。知識労働、コーディング、科学、一般知識にわたる複数の評価を 1 つの数値にまとめ、言語モデルの比較に使います。

別名: Artificial Analysis, AA Intelligence Index

執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法

モデルの開発元はそれぞれ、自社に有利なベンチマークを選びます。Artificial Analysis は多くのモデルに同じ評価のセットを自ら実行し、その結果を 1 つの指数にまとめているので、共通の基準でモデルを比べられます。このサイトの多くのモデルのページでもこれを引用しています。モデルとランキングをご覧ください。

何が含まれているか

指数のバージョン 5.0.1 は、Terminal-Bench 4.0、HLE-Diamond(Humanity's Last Exam の一部)、同社独自のエージェント型知識労働のテストいくつかを含む、9 つの評価を組み合わせています。スコアは Knowledge Work、Coding、Science、General の 4 つのカテゴリーの加重平均で、それぞれ 25% の重みを持ちます。いくつかのタスクでは、モデルをサンドボックス内でツールを使うエージェントとして動かします。

読み方

この指数は主にテキストベースで英語のテスト群です。Artificial Analysis は、視覚的な推論、音声、多言語の性能を別に測定しています。同社自身も、ほかの指標と同様に限界があり、すべての用途に当てはまるとは限らないと述べています。

評価のセットはバージョンごとに変わるため、あるバージョンのスコアを別のバージョンのスコアと比べることはできません。発表記事やリーダーボードで指数の数値を見かけたら、バージョンを確認してください。また、1 つの総合スコアはトレードオフを隠します。同じスコアの 2 つのモデルが、別々のことを得意としている場合があります。自分が重視する作業のカテゴリースコアを見て、採用を決める前に自分で LLM 評価を行ってください。

関連用語

AI ベンチマーク
AI ベンチマーク(AI benchmark)とは、合意された採点方法を持つ固定の公開タスク集で、同じテストでモデルを比べるために使います。たとえば解決したコーディングの課題数、正解した試験問題、多数のデータセットにわたる検索の品質などです。
リーダーボード(AI)
AI のリーダーボード(leaderboard)とは、1 つ以上のベンチマークのスコアや人の選好の投票に基づいてモデルを並べた公開のランキングです。新しいモデルがテストされるたびに更新され、読者はモデルを並べて比較できます。
Terminal-Bench
Terminal-Benchとは、コマンドラインのターミナルで作業するAIエージェントのためのベンチマークです。各タスクではエージェントに実際の環境が与えられ、作業が本当に完了したかを確認するテストで採点されます。
Humanity's Last Exam
Humanity's Last Exam(HLE)は、数十の科目にわたる、専門家が作成した 2,500 問からなるベンチマークです。AI モデルにとって非常に難しくなるよう作られており、答えは明確で確認できるものの、オンラインですぐには見つかりません。
LLM 評価
LLM 評価(LLM evaluation)は evals とも呼ばれ、モデルや AI アプリケーションをテストケースのセットで動かし、定めた基準に照らしてコード、人、または別のモデルで出力を採点することで、タスクをどれだけうまくこなすかを測ることです。

出典