多くのAIベンチマークは、パズルや試験問題、コーディング課題を試します。OpenAIのLifeValはより有用な方向を指しています。日常生活の退屈な事務作業、つまり人々が実際に手伝ってほしい種類の仕事でAIを採点するのです。アシスタントがいつか元を取るとすれば、それは託児先を見つけること、役所の書類を記入すること、家計をやりくりすることであって、競技数学ではありません。だから本物の雑事を狙ったベンチマークは正しい勘どころです。
OpenAIが課題を選んだやり方が最も強い部分です。推測するのではなく、二つの大きな生活時間調査、American Time Use SurveyとMultinational Time Use Studyに依拠しました。これらは、人々がさまざまな層、時間帯、季節にわたって実際にどう一日を過ごすかを目録化したものです。そのうえで、人々が個人アシスタントの助けを最も重んじるのはどこかを探るため、人口構成を代表する3,995人の調査を行いました。得られた課題は、介護、健康、教育、家事の手続き、家計、買い物、公共サービスの利用にまたがり、エージェントはブラウザー、コンピューター、コネクターを使ってそれらを実行します。
問題は、OpenAIが示していないことです。この記事は90.4%から100%の間の例となる課題の点数をいくつか示しますが、モデル名を挙げず、課題の総数も示さず、どう採点するのかも説明しません。当サイトでは、これが改善を目指す製品であるChatGPTをレビューしており、これらの高い数字は、すでにあなたの用事をこなせると いう主張として読まれやすいものです。それは証拠ではありません。点数が意味を持つのは、どのモデルが、いくつの課題で、どんな尺度で得たかが分かるときだけで、ここではその三つすべてが欠けています。
外部の検証もありません。LifeValはOpenAIが過去1年間、自社のモデルを前進させるために使ってきたと述べる内部評価であり、試験であると同じくらい調整の目標でもあります。同じ会社が作り、採点し、報告するベンチマークには、よく見せる明白な動機があり、読み手がここで数字を独立に確かめる手立ては何もありません。
それでも、その方向は評価に値します。アシスタントが日常の書類や判断をこなせるかを測ることは、もう一つの知識テストよりも、これらの道具が何のために売られているかについて正直です。今のところLifeValは、仕事が終わったという証拠ではなく、意思表明であり、OpenAIがChatGPTをどこへ向かわせているかの手がかりとして読むのが最もよいでしょう。待つ価値のある数字は独立したもので、名前のあるモデルについて、課題集合と採点方法が公開されたものです。