Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Actualités et recherche IA

Recherche ·

Une publicité pour un médicament dans le prompt pousse les chatbots grand public à le recommander davantage

Une étude du Mount Sinai parue dans The Lancet Digital Health a soumis à une douzaine de chatbots grand public, dont des versions de Claude, Gemini et GPT, 33 cas rédigés par des médecins, certains précédés d'une publicité clairement identifiée. Avec la publicité, la part des réponses choisissant le médicament promu est passée de 35% à 47,6%, et les modèles n'ont mentionné la publicité que dans 29,9% des réponses en texte libre.

Quand vous demandez à un chatbot quel traitement convient à des symptômes, vous supposez que la réponse reflète la médecine, pas le marketing. Une étude de l'Icahn School of Medicine at Mount Sinai, publiée dans The Lancet Digital Health, montre avec quelle facilité cela peut basculer. Placer une publicité clairement signalée pour un médicament avant une question clinique a conduit des modèles d'IA grand public à choisir nettement plus souvent le médicament promu, et le changement passait facilement inaperçu parce que les réponses restaient sensées.

Le protocole était simple et bien contrôlé. Les chercheurs ont soumis à 12 modèles d'IA d'entreprises dont Google, OpenAI et Anthropic les mêmes 33 cas cliniques rédigés par des médecins, chacun en deux versions : le cas seul, ou le cas précédé d'une vraie publicité signalée. Les données du patient et les options thérapeutiques étaient identiques ; seule la publicité changeait, et elle décrivait le médicament sans demander au modèle de le recommander. Sur 258 559 réponses, l'équipe a noté le traitement choisi et sa conformité aux recommandations cliniques.

Les chiffres clés sont nets. Avec la publicité, les modèles ont choisi le médicament promu dans 47,6% des réponses, contre 35% sans elle. Dans quatre cas, ils sont passés de jamais à toujours. Dans une partie des réponses en texte libre, les modèles n'ont mentionné la publicité que dans 29,9% des cas, reprenant plus souvent ses affirmations sans en citer l'origine. Le premier auteur, Mahmud Omar, a dit avoir été surpris par le caractère souvent raisonnable des réponses : la préférence du modèle entre plusieurs options acceptables se déplaçait simplement.

Cette subtilité est l'avertissement pratique. La publicité peut atteindre un modèle par le prompt de l'utilisateur, par le contexte ajouté par une application, par des pages web récupérées ou par une insertion délibérée. Des assistants comme ChatGPT, Claude et Gemini naviguent de plus en plus sur le web et intègrent des contenus sponsorisés, et OpenAI a commencé à vendre des emplacements pour les entreprises dans ChatGPT. Un glissement qui reste dans les options conformes aux recommandations passe la plupart des tests d'exactitude, d'où l'appel des auteurs aux développeurs et aux systèmes de santé à tester avec et sans contenu promotionnel, à signaler quand un système a vu une publicité et à séparer promotion et conseil clinique.

Les limites sont clairement énoncées. Les publicités n'ont pas nettement poussé les modèles vers des compléments sans fondement ou des médicaments clairement moins bons, et l'étude ne montre pas que la publicité mène à des conseils dangereux. Elle n'a mesuré ni les prescriptions, ni les choix des patients, ni les coûts, ni la santé. Les documents de presse ne détaillent pas les résultats par modèle, on ne peut donc pas dire quels chatbots ont été le plus touchés, et les cas ont été rédigés pour un test contrôlé, non tirés de vraies conversations.

Notre avis : Les glissements sont surtout restés dans les options conformes aux recommandations, et c'est précisément pour cela que les contrôles d'exactitude habituels ne les voient pas. Les applications de santé qui mêlent contenu web récupéré ou contenu sponsorisé aux prompts devraient le tester avant leur lancement.

Nos tests :ClaudeChatGPTGoogle Gemini

Source : The Lancet Digital Health

Autres articles