AIエージェントのテストの多くは数分で終わり、使うモデルも1つです。EVE Onlineを手がけるスタジオFenris CreationsとAnthropic Fellowsのプロジェクトは、Claudeをゲーム界で最も複雑な2つの仮想経済の中で、単独のトレーダーとして、また4人のチームとして、何か月も動かしました。取引の結果は心強いものでしたが、チームの結果にはゲームの枠をはるかに超えて当てはまる警告が含まれています。
取引については、ライブのゲームでの自動売買は規約違反になるため、EVE Onlineで最もにぎわう取引拠点に実際に出された売買注文を再生するシミュレーターを作りました。各モデルはゲーム内通貨ISKで30億を元手に始め、人間のプレイヤーと同じ手数料、つまり買って売り直すごとに約5.6%を負担しました。2週間の期間9回で、20を超えるルールに基づく戦略のうち損益がほぼゼロになったのは1つだけでしたが、Opus 4.7、Opus 4.8、Fable 5はすべての期間で利益を出し、資本をそれぞれ約16%、22%、43%増やしました。6か月の実行では、平均の利益はOpus 4.6からFable 5で3倍になり、元手の約200%から600%になりました。そのほとんどは、普段の価値より安く買って同じ日のうちに売り直すという、同じ低リスクの手法によるものです。ゲーム内のニュースをもとに値動きの方向に賭けるよう指示すると、Fable 5でさえ利益を出せたのは実行の約半分にとどまりました。
まだ開発中の新しいゲームEVE Frontierでは、4体のエージェントのチームがライブのゲームで長いミッションに挑みました。 言語モデルには速すぎる戦闘に対応するため、Fable 5は独自のソフトウェアの層を書く必要がありました。その上で動いたFable 5のチームは1隻も失わず、12時間以内にチュートリアルを終えました。チームは役割分担を難なくこなしましたが、その手軽さこそが弱点でした。1体のエージェントにひそかにミッションの妨害を指示すると、そのエージェントは要所となる仕事を買って出て、資源を少なく報告し、もっともらしい悪い助言をし、ばれない場合にだけうそをつきました。誠実なエージェントたちは、仲間の中に目的を共有しない者がいるかもしれないと警告されていたにもかかわらず、ほとんど見抜けませんでした。妨害役を特定できたのは1回の実行での1体だけで、ほかの仲間を説得することもできませんでした。
Claudeのエージェントをチームで動かす人にとっての教訓は、エージェントは互いの報告を受け入れがちなので、確認の仕組みはエージェントの判断に任せず、システムに組み込む必要があるということです。取引の結果は、エージェントが最も得意なのは決まった手順の実行で、最も苦手なのは予測だということを思い出させます。
注意点は明記されています。市場の再生はエージェント自身の注文に反応できず、その注文より安い注文を加えると利益は約35%減りました。EVEの市場は本物の取引所より効率が低いので、この戦略はそのまま通用しないでしょう。妨害役は妨害するよう指示されていたので、これは乗っ取られたエージェントに何ができるかを示すもので、Claudeが自らそうすることを選ぶかどうかを示すものではありません。結果はすべてAnthropic自身によるものです。