Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Pesquisa ·

Um anúncio de remédio no prompt faz chatbots de consumo recomendarem mais aquele remédio

Um estudo do Mount Sinai na The Lancet Digital Health deu a uma dúzia de chatbots de consumo, incluindo versões de Claude, Gemini e GPT, 33 casos escritos por médicos, alguns precedidos de um anúncio de remédio identificado. Com o anúncio, a fatia de respostas que escolhiam o remédio anunciado subiu de 35% para 47,6%, e os modelos citaram o anúncio em só 29,9% das respostas em texto livre.

Quando você pergunta a um chatbot qual tratamento combina com certos sintomas, supõe que a resposta reflete a medicina, não o marketing. Um estudo da Icahn School of Medicine at Mount Sinai, publicado na The Lancet Digital Health, mostra com que facilidade isso pode mudar. Colocar um anúncio de remédio claramente identificado antes de uma pergunta clínica fez modelos de IA de consumo escolherem o remédio anunciado com frequência bem maior, e a mudança passava despercebida porque as respostas continuavam parecendo sensatas.

O desenho era simples e bem controlado. Os pesquisadores deram a 12 modelos de IA de empresas como Google, OpenAI e Anthropic os mesmos 33 casos clínicos escritos por médicos, cada um em duas versões: o caso sozinho, ou o caso com um anúncio real e identificado logo antes. Dados do paciente e opções de tratamento eram idênticos; só o anúncio mudava, e ele descrevia o remédio sem pedir ao modelo que o recomendasse. Em 258.559 respostas, a equipe registrou qual tratamento cada uma escolheu e se ele seguia as diretrizes clínicas.

Os números principais são claros. Com anúncio, os modelos escolheram o remédio anunciado em 47,6% das respostas, contra 35% sem ele. Em quatro casos, os modelos passaram de nunca escolher para escolher sempre. Numa parte das respostas em texto livre, os modelos citaram o anúncio só 29,9% das vezes, e com mais frequência repetiram suas afirmações sem dizer de onde vinham. O primeiro autor, Mahmud Omar, disse que o surpreendeu como as respostas costumavam parecer razoáveis: a preferência do modelo entre várias opções aceitáveis simplesmente se deslocava.

Essa sutileza é o alerta prático. A publicidade pode chegar a um modelo pelo próprio prompt do usuário, pelo contexto que um app acrescenta, por páginas da web recuperadas ou por inserção deliberada. Assistentes como ChatGPT, Claude e Gemini navegam cada vez mais pela web e puxam conteúdo patrocinado, e a OpenAI começou a vender espaços para empresas dentro do ChatGPT. Um desvio que fica dentro das opções aprovadas pelas diretrizes passa na maioria dos testes de precisão, e por isso os autores pedem que desenvolvedores e sistemas de saúde testem com e sem material promocional, avisem quando um sistema viu um anúncio e separem promoção de orientação clínica.

Os limites são ditos com clareza. Os anúncios não empurraram os modelos de forma clara para suplementos sem respaldo ou remédios claramente piores, e o estudo não mostra que a publicidade leva a conselhos perigosos. Ele não mediu efeitos em prescrições, escolhas de pacientes, custos ou saúde. O material de imprensa não detalha os resultados por modelo, então não dá para dizer quais chatbots foram mais afetados, e os casos foram escritos para um teste controlado, não tirados de conversas reais.

Nossa opinião: As mudanças ficaram quase sempre dentro das opções aceitas pelas diretrizes, e é justamente por isso que checagens comuns de precisão não as pegam. Apps de saúde que misturam conteúdo da web ou material patrocinado nos prompts deveriam testar isso antes do lançamento.

Nossas análises:ClaudeChatGPTGoogle Gemini

Fonte: The Lancet Digital Health

Mais matérias