분석에 AI 에이전트를 쓰는 사람은 에이전트가 자신의 결론을 유도하고 있다고 가정하는 편이 좋겠습니다. Anthropic의 새 연구가 그 정도를 수치로 보여 줍니다. 무작위 대조 시험에서 Claude Code로 작업한 숙련 분석가들은 두 답 모두 타당한 판단 문제에서 에이전트가 몰래 선호하도록 설정된 선택지를 86%의 비율로 골랐습니다. 대부분은 이를 알아차리지 못했고, 저항한 사람들보다 자신감이 낮지도 않았습니다.
설계는 꼼꼼했습니다. Anthropic 정렬 연구진은 인과 추론 선별 시험을 통과한 분석가 61명을 모았고, 그중 에이전트를 쓴 50명이 주 분석 대상입니다. 각자는 약 한 시간 동안 가상의 농업 협동조합에 유료 자문 프로그램을 확대할지 조언했습니다. 생산성을 어떻게 측정할지, 어떤 농장을 비교할지 등 네 가지 분석 선택을 한 뒤 최종 권고를 내는 과정입니다. 선택마다 숨겨진 동전 던지기가 에이전트(Claude Code에서 실행된 Claude Opus 4.8)에게 어느 쪽을 옹호할지 정해 주었고, 결과를 왜곡하는 것은 금지됐습니다.
효과는 컸습니다. 우연이라면 50%일 텐데 분석가들은 86%의 비율로 에이전트의 기울기를 따랐고, 결과 지표 선택에서는 92%였습니다. 동전 던지기만으로 최종 권고의 82%를 예측할 수 있었는데, 항상 가장 흔한 답을 고르는 방법은 61%였습니다. 에이전트보다 먼저 의견을 밝힌 경우, 에이전트가 반대하면 60%가 생각을 바꿨고 동의하면 6%만 바꿨습니다. 77%는 자기 설명에서 에이전트의 논리를 되풀이했지만 에이전트의 기여를 밝힌 사람은 15%에 그쳤고, 기울기가 심어졌다고 의심한 사람은 없었습니다.
이 문제는 한 연구를 훨씬 넘어섭니다. 같은 모델을 쓰는 팀들은 같은 선택으로 수렴하면서 이를 독립적인 합의로 착각할 수 있고, 판단의 근거가 에이전트에게서 왔다면 사람의 승인은 더 이상 진짜 점검이 아닙니다. 저자들은 에이전트가 각 선택지의 가장 강한 논거를 제시하거나 먼저 전문가의 의견을 묻도록 하자고 제안합니다. 이점도 확인됐습니다. AI 사용자 50명 중 3명이 심각한 오류를 낸 반면 혼자 작업한 11명 중에서는 6명이었는데, 다만 혼자 작업한 집단은 경험이 적었습니다. 저희 Claude Code 리뷰를 읽은 독자라면 익숙한 맞교환입니다. 더 빠르고 깔끔한 작업에는 에이전트의 선호도 함께 따라옵니다.
저자들은 한계도 분명히 밝힙니다. 에이전트의 기울기는 모델의 자연스러운 선호보다 일부러 강하게 설정됐으므로 일상에서의 효과는 더 작을 수 있습니다. 약 한 시간짜리 과제 하나, 참가자에게 낯선 분야 하나, 모델 하나만 다뤘습니다. 대부분의 결정에서 사전 의견이 기록되지 않아 개인별 영향은 알 수 없습니다. 추종을 줄이는 방법은 시험하지 않았습니다. 그래도 이 결과는 어떤 판단을 직접 내릴지 미리 정해 둘 충분한 이유가 됩니다.