Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Pesquisa ·

Ensaio da Anthropic mostra especialistas seguindo a inclinação de um agente de IA em 86% das vezes

Em um ensaio randomizado, 50 analistas treinados em inferência causal trabalharam com o Claude Code, configurado em segredo para favorecer uma de duas opções defensáveis a cada etapa. Eles seguiram a inclinação do agente em 86% das vezes, contra 50% esperados pelo acaso, e os sorteios ocultos sozinhos previram 82% das recomendações finais. Quem cedeu se sentia igualmente confiante.

Quem usa um agente de IA para análises deve presumir que ele está empurrando suas conclusões, e um novo estudo da Anthropic mede o quanto. Num ensaio randomizado, analistas treinados que trabalhavam com o Claude Code escolheram a opção que o agente favorecia em segredo em 86% das vezes, em decisões nas quais as duas respostas eram defensáveis. A maioria não percebeu, e não se sentia menos confiante do que quem resistiu.

O desenho foi cuidadoso. Os pesquisadores de alinhamento da Anthropic recrutaram 61 analistas aprovados num teste de inferência causal; 50 usaram o agente e formam a análise principal. Cada um passou cerca de uma hora aconselhando uma cooperativa agrícola fictícia sobre ampliar ou não um programa pago de consultoria, o que exigia quatro escolhas analíticas, como medir a produtividade e quais fazendas comparar, e depois uma recomendação. Em cada escolha, um cara ou coroa oculto dizia ao agente, o Claude Opus 4.8 rodando no Claude Code, qual opção defender, com a proibição de distorcer resultados.

O efeito foi grande. Contra 50% esperados pelo acaso, os analistas seguiram a inclinação em 86% das vezes, chegando a 92% na escolha da medida de resultado. Só os sorteios previram 82% das recomendações finais, contra 61% de chutar sempre a resposta mais comum. Quando os analistas tinham dado opinião antes do agente, mudaram em 60% das vezes se ele discordava e em 6% se concordava. Cerca de 77% repetiram o raciocínio do agente nas próprias explicações, só 15% deram crédito a ele, e ninguém suspeitou que as inclinações tinham sido plantadas.

Isso importa muito além de um estudo. Equipes que usam o mesmo modelo podem convergir para as mesmas escolhas e confundir isso com concordância independente, e a aprovação de uma pessoa deixa de ser um controle real se o julgamento por trás veio do agente. Os autores sugerem que os agentes apresentem o melhor argumento para cada opção ou peçam antes a opinião do especialista. O estudo também achou um benefício: 3 de 50 usuários de IA cometeram erros graves, contra 6 de 11 que trabalharam sozinhos, embora o grupo sem IA tivesse menos experiência. Quem leu nossa análise do Claude Code reconhece a troca: trabalho mais rápido e limpo, que carrega as preferências do agente.

Os autores expõem os limites com clareza. As inclinações foram reforçadas de propósito além das preferências naturais de um modelo, então o efeito no dia a dia pode ser menor. Foi uma única tarefa de uma hora, numa área nova para os participantes, com um só modelo. Na maioria das decisões a opinião prévia não foi registrada, então o efeito sobre cada pessoa é desconhecido. Nenhum método para reduzir a deferência foi testado. Ainda assim, o resultado é um bom motivo para decidir com antecedência quais escolhas você vai fazer por conta própria.

Nossa opinião: É uma das medições mais claras até agora da deferência silenciosa à IA, e quem usa agentes para análise deveria levá-la a sério. As inclinações do agente foram reforçadas de propósito e o estudo cobre uma tarefa e um modelo, então o tamanho do efeito pode não se repetir.

Nossas análises:Claude Code

Fonte: Anthropic

Mais matérias