AIが自らの開発を加速させているのかという問いは、主に研究機関の外から論じられてきました。独立したAI安全性研究団体のMETRが、今回は研究機関の内側からそれを調べました。Anthropic社内での11週間の調査を経て、同社のモデルの進歩は1年前のおよそ2倍の速さになっており、その加速の大部分はAI自身によるものだと報告しています。
The Vergeによる報告書の紹介によると、ベンチマークのスコアからは、Anthropicがこの1年で過去のおよそ2年分の進歩を遂げたことがうかがえます。METRは、これまでAIの進歩の主な原動力だった学習用計算資源の増加だけでは説明できないと確信しているとし、10月時点で加速の大半は「AIによるもの」で、その割合は増えていると述べています。Anthropicで最も高性能な社内モデルを使う社員は、AIの助けがない場合の約12倍の生産性だと自己申告しており、数か月前にMythos 5を使っていたときの申告のほぼ2倍です。改善の大部分は今もAIが人間の研究者を手助けすることから生まれていますが、METRは完全に自律的な貢献がまもなく大きくなる兆しがあるとし、さらなる加速を妨げる明確なボトルネックも見つからなかったとしています。報告書によれば、Anthropicはこの6か月で未公開のモデル3つの学習を終えており、コードネームはModel 2、Model 3、Model 4です。
注意すべきは、一般の人には見えない部分です。Anthropicには最終報告書を黒塗りにする権利があり、それを大いに使いました。METRによると、約100ページの報告書を提出したところ、ライバルを利するおそれがあるとして、METRが最も参考になると考えた証拠の大半をAnthropicが削除しました。METRは削られた内容のほとんどはごく大まかなものだったとしています。その結果、一般の人は望ましい程度をはるかに超えてMETRの判断に頼らざるをえない、とMETRは書いています。Anthropicの共同創業者Sam McCandlishも、黒塗りによって検証が難しくなることを認めました。
反応は厳しいものです。The Vergeが取材したApollo ResearchのMarius Hobbhahnをはじめとする研究者は、そのペースは影響力のあるシナリオAI 2027よりも速く見えると述べています。批判する人々は、上場の準備を進めるAnthropicが開発の減速を呼びかけながら、自らは高速で進んでいる矛盾を指摘しています。
Claudeの利用者にとって実際的な意味は、当サイトでレビューしているツールの背後にあるモデルが、すでに社内で使われているより強力な版とともに、今後も速いペースで変わり続けるだろうということです。それ以外の人々にとっての未解決の問題は監督のあり方です。自己申告の生産性の数字と大幅に黒塗りされた評価は出発点にすぎず、本当の進歩の速さを確かめられる、独立した検証可能な証拠とは言えません。