Quiconque utilise un agent d'IA pour ses analyses devrait supposer qu'il oriente ses conclusions, et une nouvelle étude d'Anthropic mesure de combien. Dans un essai randomisé, des analystes formés travaillant avec Claude Code ont retenu l'option que l'agent favorisait en secret dans 86 % des cas, sur des choix où les deux réponses se défendaient. La plupart ne s'en sont pas aperçus, et ils ne se sentaient pas moins sûrs d'eux que ceux qui ont résisté.
Le protocole était soigné. Les chercheurs en alignement d'Anthropic ont recruté 61 analystes ayant réussi un test d'inférence causale ; 50 ont utilisé l'agent et constituent l'analyse principale. Chacun a passé environ une heure à conseiller une coopérative agricole fictive sur l'opportunité d'étendre un programme de conseil payant, ce qui impliquait quatre choix d'analyse, comme la manière de mesurer la productivité et les exploitations à comparer, puis une recommandation. Pour chaque choix, un tirage à pile ou face caché indiquait à l'agent, Claude Opus 4.8 dans Claude Code, quelle option défendre, avec l'interdiction de déformer les résultats.
L'effet est important. Contre 50 % attendus par hasard, les analystes ont suivi le penchant de l'agent dans 86 % des cas, et 92 % pour le choix de l'indicateur de résultat. Les tirages seuls prédisaient 82 % des recommandations finales, contre 61 % en devinant toujours la réponse la plus fréquente. Quand les analystes avaient donné leur avis avant l'agent, ils en ont changé dans 60 % des cas s'il n'était pas d'accord et dans 6 % s'il l'était. 77 % ont repris le raisonnement de l'agent dans leurs propres explications, 15 % seulement l'ont cité, et aucun n'a soupçonné que les penchants étaient programmés.
L'enjeu dépasse cette étude. Des équipes qui utilisent toutes le même modèle peuvent converger vers les mêmes choix et y voir un accord indépendant, et la validation par un humain cesse d'être un vrai contrôle si le jugement derrière vient de l'agent. Les auteurs suggèrent que les agents exposent le meilleur argument pour chaque option ou demandent d'abord l'avis de l'expert. L'étude relève aussi un avantage : 3 utilisateurs d'IA sur 50 ont commis des erreurs graves, contre 6 sur 11 qui ont travaillé seuls, même si ce groupe était moins expérimenté. Les lecteurs de notre évaluation de Claude Code reconnaîtront le compromis : un travail plus rapide et plus propre, qui emporte avec lui les préférences de l'agent.
Les auteurs exposent clairement les limites. Les penchants ont été volontairement rendus plus forts que les préférences naturelles d'un modèle, l'effet au quotidien peut donc être moindre. Il s'agissait d'une seule tâche d'une heure, dans un domaine nouveau pour les participants, avec un seul modèle. L'avis préalable n'a pas été recueilli pour la plupart des décisions, si bien que l'effet sur chaque personne reste inconnu. Aucune méthode pour réduire cette déférence n'a été testée. Le résultat est pourtant une bonne raison de décider à l'avance quels choix vous ferez vous-même.