AI向けの科学ベンチマークの多くは、論文掲載用に整えられた図を使います。実際の実験室の仕事は違います。にじんだゲル、ラベルの間違ったプレート、ピントの合っていない顕微鏡の連続画像、気づかないうちに失敗している対照実験。OpenAIと酵素設計を手がけるバイオ企業Ligoは、こうした雑然とした証拠でエージェントを試すBioBasicsBenchを作りました。結果からは本物の進歩と、実験室に1週間の損失を与えかねない種類の誤りの両方が見えてきます。
ベンチマークには、タンパク質の手法、イメージングとサイトメトリー、定量とアッセイ、核酸の手法、分子クローニングという日常業務の5分野にわたる100のタスクがあります。科学者が自分の実験のデータを使って作成し、ゲルやブロットの画像、プレートの写真、生の顕微鏡画像、シーケンスのファイル、プレートリーダーの出力、さらには実験台での作業の動画まで含まれます。各タスクは外部の博士レベルの科学者による審査を含む3段階の確認を経ており、専門家の採点基準で評価されます。この基準は部分点を与え、証拠が足りないと述べることも評価します。
OpenAIは自社の7つのモデルを37の推論設定で試し、1タスクあたり5回の試行で合計18,500の結果を得ました。全モデルに共通する最も高い設定では、GPT-6 Astraが得点可能な配点の66.7%を獲得し、62.0%のGPT-6.1 Solを上回り、43.8%のGPT-5.6 Solを大きく引き離しました。しかも1タスクあたりの出力トークンはおよそ半分でした。事例は示唆に富みます。Astraは、陰性対照のプレート に、実験で使ったアンピシリンではなくカナマイシンのラベルが貼られていることに気づいて対照から外しました。一連の顕微鏡画像を、細胞が消えていく様子ではなく深さ方向のスキャンだと見抜きました。そして、別の色素でも生じうる色素のシグナルだけを根拠に、細胞が死んでいると判断することを避けました。
当サイトのGPT-6 Astraのレビューを読んだ方にとって、これは同モデルの進歩が主に画像などの生データの扱いの向上から来ているという見方を裏付けるものです。OpenAI自身の結論も同じ方向を指し、ネイティブなマルチモーダル能力の強化を理由に挙げています。
失敗例も同じくらい学びがあります。Astraは、PCR産物が大きければクローニングに成功しているというよくある思い込みを対照の示す結果より優先させ、間違ったコロニーを選びました。好みの説明に合わない明るい液胞を無視し、あるプレートではコロニーを約12%多く数えました。日常的な作業でもなお配点の3分の1を取りこぼしているので、こうしたエージェントを使う実験室は、読み取りの一つ一つを科学者に確認させるべきです。ベンチマークはOpenAI自身のもので、協力企業は1社、試したのもOpenAIのモデルだけなので、他社のシステムとの比較はまだわかりません。