Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Sécurité et évaluation

Comment les systèmes d’IA sont attaqués, protégés, encadrés et mesurés, benchmarks compris.

Abliteration
L'abliteration (suppression de la direction de refus) est une technique qui empêche un modèle de langage de refuser des requêtes : elle trouve l'unique direction interne qui porte le refus et modifie les poids pour que le modèle ne puisse plus y écrire, sans réentraînement.
AI Act européen
L'AI Act européen (règlement sur l'intelligence artificielle), règlement (UE) 2024/1689, est la loi de l'Union européenne sur l'intelligence artificielle. Il fixe des règles fondées sur le risque pour ceux qui conçoivent et déploient des systèmes d'IA, de l'interdiction pure et simple aux obligations de transparence, appliquées progressivement à partir de 2025.
AIME (benchmark)
L'AIME, ou American Invitational Mathematics Examination, est un concours de mathématiques américain de 15 questions dont les réponses sont des nombres entiers de 0 à 999 ; les laboratoires d'IA utilisent ses anciens sujets, comme AIME 2025, comme benchmark de raisonnement mathématique.
Alignement de l'IA
L'alignement de l'IA (AI alignment) est le travail qui consiste à faire correspondre le comportement d'un système d'IA à ce que ses utilisateurs et développeurs veulent réellement, pour qu'il soit utile, honnête et évite de nuire, au lieu de simplement prédire un texte probable ou d'optimiser un score étroit.
ARC-AGI
ARC-AGI est une série de benchmarks, lancée par François Chollet et gérée par ARC Prize, qui teste si un système d'IA sait résoudre de nouvelles énigmes de raisonnement jamais vues auparavant, en mesurant l'efficacité avec laquelle il apprend plutôt que ce qu'il sait.
Artificial Analysis Intelligence Index
L'Artificial Analysis Intelligence Index est un score composite de la société de benchmarking Artificial Analysis qui combine plusieurs évaluations, couvrant le travail intellectuel, le code, les sciences et la culture générale, en un seul chiffre pour comparer des modèles de langage.
Attaque de la chaîne d'approvisionnement IA
Une attaque de la chaîne d'approvisionnement IA (AI supply-chain attack) compromet une application d'IA par l'intermédiaire de quelque chose dont elle dépend, comme un modèle téléchargé, un adaptateur LoRA, un jeu de données, un paquet Python, un serveur MCP ou une skill d'agent, au lieu d'attaquer directement l'application.
Benchmark d'IA
Un benchmark d'IA (banc d'essai) est un ensemble fixe et public de tâches avec une méthode de notation convenue, utilisé pour comparer des modèles sur le même test, par exemple les tickets de code résolus, les questions d'examen réussies ou la qualité de récupération sur de nombreux jeux de données.
BrowseComp
BrowseComp est un benchmark d'OpenAI composé de 1 266 questions difficiles, qui teste si un agent de navigation sait chercher avec persévérance sur le web des faits enchevêtrés et difficiles à trouver, avec des réponses courtes faciles à vérifier.
Caviardage des PII
Le caviardage des PII (PII redaction) consiste à détecter puis supprimer ou masquer les informations personnelles identifiables, comme les noms, numéros de téléphone, adresses et numéros de carte, dans du texte ou des images avant de les envoyer à un modèle, de les stocker dans des journaux ou de les montrer à d'autres.
Classement Elo (arènes de modèles)
Dans les arènes de modèles, un classement Elo est un score calculé à partir de nombreux votes en face-à-face entre paires de modèles, de sorte que l'écart entre deux scores prédit à quelle fréquence la réponse d'un modèle sera préférée à celle de l'autre.
Conservation zéro des données
La conservation zéro des données (zero data retention, ZDR) est un dispositif dans lequel un fournisseur d'IA ne conserve pas les prompts et les sorties d'un client une fois la requête traitée, généralement proposé uniquement aux clients approuvés et uniquement pour les fonctionnalités d'API éligibles.
Contamination des benchmarks
Il y a contamination d'un benchmark quand un modèle a vu ses questions ou ses réponses de test pendant l'entraînement, si bien que son score sur ce benchmark surestime sa capacité à traiter de nouveaux problèmes du même type.
Content Credentials C2PA
Les Content Credentials C2PA (identifiants de contenu) sont des enregistrements de provenance signés, définis par un standard ouvert de la Coalition for Content Provenance and Authenticity, qui accompagnent une image, une vidéo, un fichier audio ou un document et consignent son origine et ses modifications.
Deepfake
Un deepfake (hypertrucage) est un contenu image, audio ou vidéo créé ou modifié par IA de façon à montrer de manière convaincante une personne, un lieu ou un événement réels dans une situation qui n'a pas eu lieu, et qui pourrait passer pour authentique.
Évaluation de LLM
L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
Évaluation humaine
L'évaluation humaine consiste à juger les sorties d'une IA par des personnes plutôt que par des métriques automatiques, par exemple des évaluateurs qui notent des réponses selon une grille ou choisissent la meilleure de deux réponses anonymes lors d'un test à l'aveugle.
Exfiltration de données (agents IA)
Pour les agents IA, l'exfiltration de données survient quand un attaquant pousse un agent à lire des données privées auxquelles il a accès et à les envoyer à l'extérieur, par une requête web, un e-mail, un lien d'image ou un autre canal que l'attaquant contrôle.
Garde-fous (IA)
Les garde-fous (guardrails) sont des contrôles exécutés autour d'un modèle de langage qui inspectent les entrées et les sorties et les bloquent, les réécrivent ou les redirigent, afin qu'une application reste dans son sujet, évite les contenus nuisibles et respecte des règles que le modèle seul ne tiendrait pas de façon fiable.
Golden dataset
Un golden dataset (jeu de données de référence) est un ensemble fixe et soigneusement vérifié d'exemples d'entrées associés aux réponses ou au comportement attendus, utilisé comme référence pour évaluer un système d'IA ou en tester les régressions.
GPQA
GPQA (Graduate-Level Google-Proof Q&A) est un benchmark de 448 questions difficiles à choix multiples en biologie, physique et chimie, rédigées par des experts de sorte que des non-spécialistes compétents ne puissent pas y répondre, même avec une recherche web illimitée.
HumanEval
HumanEval est un benchmark de génération de code publié par OpenAI en 2021 : 164 problèmes Python écrits à la main, chacun avec une signature de fonction, une docstring et des tests unitaires, utilisés pour vérifier si un modèle écrit du code qui fonctionne réellement.
Humanity's Last Exam
Humanity's Last Exam (HLE) est un benchmark de 2 500 questions rédigées par des experts dans des dizaines de disciplines, conçu pour être très difficile pour les modèles d'IA, avec des réponses claires et vérifiables mais introuvables rapidement en ligne.
Jailbreak (LLM)
Un jailbreak (débridage) est un prompt ou une technique qui amène un modèle de langage à produire une sortie que son entraînement à la sûreté est censé refuser, comme des instructions dangereuses, au moyen de jeux de rôle, d'obscurcissement, d'encodages inhabituels ou de longs textes adverses.
Leaderboard (IA)
Un leaderboard d'IA (classement) est un classement public de modèles selon leurs scores sur un ou plusieurs benchmarks ou selon des votes de préférence humaine, mis à jour à mesure que de nouveaux modèles sont testés, pour que les lecteurs puissent comparer les modèles côte à côte.
LLM-as-a-judge
Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
LMArena
LMArena, d'abord connue sous le nom de Chatbot Arena, est une plateforme publique qui classe les modèles d'IA à partir de votes humains participatifs : les utilisateurs voient deux modèles anonymes répondre au même prompt et choisissent la meilleure réponse.
MMLU
MMLU (Massive Multitask Language Understanding) est un benchmark à choix multiples couvrant 57 matières, des mathématiques élémentaires et de l'histoire des États-Unis au droit et à l'informatique, qui teste les connaissances générales et la résolution de problèmes d'un modèle de langage.
Model card
Une model card (fiche de modèle) est un court document publié avec un modèle de machine learning qui explique à quoi il sert, comment il a été entraîné et évalué, où ses performances sont faibles, et comment il doit ou ne doit pas être utilisé.
MTEB
MTEB, le Massive Text Embedding Benchmark, est un benchmark public accompagné d'un classement qui note les modèles d'embedding de texte sur de nombreux types de tâches, comme la recherche, le clustering, la classification et le reranking, à travers de nombreux jeux de données et langues.
OAuth pour les agents d'IA
OAuth pour les agents d'IA désigne l'usage du standard d'autorisation OAuth pour permettre à un agent ou à un client MCP d'agir au nom d'un utilisateur avec un jeton d'accès limité et révocable, au lieu de détenir le mot de passe de l'utilisateur ou une clé API aux droits étendus.
Observabilité des LLM
L'observabilité des LLM (LLM observability) consiste à enregistrer ce que fait une application d'IA en production, y compris les prompts, les réponses, les appels d'outils, la latence, la consommation de tokens et le coût, sous forme de traces consultables, afin de déboguer les défaillances et de voir comment le système se comporte dans le temps.
OSWorld
OSWorld est un benchmark pour les agents de computer use qui fait tourner de vrais systèmes d'exploitation comme Ubuntu, Windows et macOS et note les agents sur 369 tâches ouvertes dans des applications web et de bureau, vérifiées par des scripts.
pass@k
pass@k est une métrique des benchmarks de code qui donne la probabilité qu'au moins une des k solutions générées pour un problème passe ses tests unitaires ; pass@1 est la probabilité qu'une seule tentative réussisse.
Permissions d'agent
Les permissions d'agent sont les règles qui déterminent quels outils, fichiers, commandes, réseaux et comptes un agent IA peut utiliser, et quelles actions exigent d'abord l'approbation d'un humain, afin qu'un agent qui se trompe ou qui est manipulé ne puisse causer que des dégâts limités.
Prompt injection
La prompt injection (injection de prompt) est une attaque dans laquelle un texte fourni à un modèle de langage, saisi par un utilisateur ou caché dans une page web, un fichier ou un résultat d'outil, modifie le comportement du modèle d'une façon que son développeur n'avait pas prévue.
Red teaming de l'IA
Le red teaming de l'IA (AI red teaming) consiste à attaquer délibérément un modèle ou une application d'IA avant et après sa publication, avec des testeurs humains ou des outils automatisés, pour trouver les sorties nuisibles, les jailbreaks, les injections et autres défaillances afin de les corriger.
Résidence des données
La résidence des données (data residency) est un contrôle qui garantit que les données d'un client sont stockées, et souvent traitées, dans une région géographique choisie comme l'UE, afin qu'une équipe puisse respecter ses propres règles légales, contractuelles ou clients sur le lieu où se trouvent les données.
SOC 2
SOC 2 est un rapport d'audit, produit par un cabinet d'audit CPA externe selon les normes de l'AICPA, sur les contrôles d'une organisation de services en matière de sécurité, de disponibilité, d'intégrité du traitement, de confidentialité ou de protection de la vie privée.
SWE-bench
SWE-bench est un benchmark de code construit à partir de vraies issues GitHub de projets Python populaires ; un modèle ou un agent doit modifier le dépôt pour que l'issue soit corrigée et que les tests cachés du projet passent.
Tatouage numérique de l'IA
Le tatouage numérique de l'IA (AI watermarking) consiste à intégrer un signal caché, détectable par une machine, dans du texte, des images, de l'audio ou de la vidéo au moment où un modèle d'IA les génère, afin qu'un logiciel puisse ensuite identifier le contenu comme généré par IA.
Terminal-Bench
Terminal-Bench est un benchmark pour les agents d'IA qui travaillent dans un terminal en ligne de commande ; chaque tâche fournit à l'agent un environnement réel et est notée par des tests qui vérifient si le travail a vraiment été fait.
Tests de régression (applications LLM)
Les tests de régression pour les applications LLM consistent à relancer un ensemble fixe de cas d'évaluation après chaque modification d'un prompt, d'un modèle, d'une configuration de recherche ou d'un outil, pour repérer les cas qui fonctionnaient et qui échouent désormais.
Tool poisoning
Le tool poisoning (empoisonnement d'outils) est une attaque dans laquelle un outil malveillant, souvent un serveur MCP, cache des instructions dans la description ou les métadonnées de ses outils ; le modèle d'IA les lit comme des consignes et peut divulguer des données ou mal utiliser d'autres outils sans que l'utilisateur s'en aperçoive.
τ-bench
τ-bench (tau-bench) est un benchmark qui teste les agents d'IA dans des conversations simulées de service client, où un modèle de langage joue l'utilisateur et où l'agent doit utiliser des outils d'API propres au domaine tout en respectant des règles de politique écrites.