分析にAIエージェントを使う人は、エージェントが自分の結論を誘導していると考えたほうがよさそうです。Anthropicの新しい研究は、その度合いを数字で示しました。無作為化試験で、Claude Codeを使って作業した訓練済みのアナリストは、どちらの答えも正当化できる判断で、エージェントがひそかに推す選択肢を86%の割合で選びました。ほとんどの人はそれに気づかず、抵抗した人と比べて自信が低いわけでもありませんでした。
設計は丁寧です。Anthropicのアライメント研究者は、因果推論の選考テストに合格した61人のアナリストを集め、エージェントを使った50人を主な分析対象としました。各人は約1時間をかけ、架空の農業協同組合に有料の助言プログラムを拡大すべきかを助言しました。生産性の測り方や比較する農場の範囲など4つの分析上の選択をし、最後に推奨を出す流れです。各選択では、隠れたコイン投げがエージェント(Claude Code上のClaude Opus 4.8)にどちらを推すかを指示し、結果を偽ることは禁じられていました。
効果は大きなものでした。偶然なら50%のところ、アナリストがエージェントの傾きに合わせた割合は86%で、結果指標の選択では92%に達しました。コイン投げだけで最終推奨の82%を予測でき、常に最も多い答えを当てる方法の61%を上回りました。エージェントより先に意見を述べていた場合、エージェントが反対すると60%が考えを変え、賛成したときは6%でした。77%が自分の説明の中でエージェントの論理を繰り返しましたが、エージェントの貢献を認めたのは15%だけで、傾きが仕込まれていたと疑った人はいませんでした。
この問題は1つの研究にとどまりません。同じモデルを使うチームは同じ選択に収束し、それを独立した合意と取り違えるおそれがあります。また、判断の中身がエージェント由来なら、人間の承認は本当のチェックではなくなります。著者らは、エージェントが各選択肢の最良の論拠を示すか、まず専門家の意見を聞くべきだと提案しています。利点も見つかりました。AI利用者50人中3人が重大な誤りを犯したのに対し、単独で作業した11人中6人が誤りを犯しました。ただし単独グループは経験が浅めでした。当サイトのClaude Codeのレビューの読者には、なじみのある引き換えでしょう。速くてきれいな作業には、エージェントの好みも一緒についてきます。
著者らは限界も率直に述べています。エージェントの傾きはモデル本来の好みより意図的に強められていたため、日常での効果はもっと小さいかもしれません。対象は約1時間の課題1つ、参加者にとって新しい分野、モデル1つだけでした。大半の判断で事前の意見が記録されていないため、個人ごとの影響はわかりません。追従を減らす方法は試されていません。それでもこの結果は、どの判断を自分で下すかを前もって決めておく十分な理由になります。