Tests de régression (applications LLM)
Les tests de régression pour les applications LLM consistent à relancer un ensemble fixe de cas d'évaluation après chaque modification d'un prompt, d'un modèle, d'une configuration de recherche ou d'un outil, pour repérer les cas qui fonctionnaient et qui échouent désormais.
Aussi appelé : LLM regression testing, prompt regression testing, eval regression
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Dans un logiciel ordinaire, une régression est un bug dans quelque chose qui fonctionnait. Les applications LLM régressent facilement : un prompt reformulé corrige une réponse et en casse trois autres, un fournisseur met à jour un modèle, ou un nouveau réglage de recherche change le contexte qui arrive. Les tests de régression détectent cela avant les utilisateurs.
Comment ça marche
Partez d'un jeu de données de référence composé de vraies entrées et des résultats attendus. Après chaque modification, faites passer chaque cas dans l'application et notez les sorties : par du code quand une réponse exacte existe, avec un LLM-as-a-judge pour les réponses ouvertes, et par des personnes sur un échantillon. Comparez les scores à ceux de l'exécution précédente et faites échouer le build s'ils baissent. Le cookbook d'OpenAI le montre pour une application qui résume des notifications push, en vérifiant si une modification de prompt fait régresser son comportement. Des outils open source comme promptfoo permettent d'écrire les cas de façon déclarative et de les exécuter en CI.
Ce qui les distingue des tests unitaires
La sortie d'un modèle varie d'une exécution à l'autre, surtout avec une température élevée. Exécutez chaque cas plusieurs fois, suivez des taux de réussite plutôt que des résultats isolés, et fixez des seuils au lieu d'exiger des correspondances exactes. Figez les versions des modèles quand c'est possible, pour savoir si un changement vient de votre code ou du fournisseur.
En production
Les tests hors ligne couvrent les cas connus. L'observabilité des LLM repère ceux auxquels vous n'aviez pas pensé ; ajoutez ces défaillances au jeu de tests pour qu'elles restent corrigées. Ensemble, ils forment le volet test de l'évaluation des LLM.
Termes liés
- Évaluation de LLM
- L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
- Golden dataset
- Un golden dataset (jeu de données de référence) est un ensemble fixe et soigneusement vérifié d'exemples d'entrées associés aux réponses ou au comportement attendus, utilisé comme référence pour évaluer un système d'IA ou en tester les régressions.
- LLM-as-a-judge
- Le LLM-as-a-judge (LLM juge) est une méthode d'évaluation dans laquelle un modèle de langage performant note les sorties d'un autre modèle ou d'une application, à l'aide d'une grille, d'une réponse de référence ou d'une comparaison côte à côte, à la place ou en complément d'évaluateurs humains.
- Observabilité des LLM
- L'observabilité des LLM (LLM observability) consiste à enregistrer ce que fait une application d'IA en production, y compris les prompts, les réponses, les appels d'outils, la latence, la consommation de tokens et le coût, sous forme de traces consultables, afin de déboguer les défaillances et de voir comment le système se comporte dans le temps.
- Température (échantillonnage)
- La température (temperature) est un réglage d'échantillonnage qui contrôle le caractère aléatoire des choix de mots d'un modèle de langage. Des valeurs basses lui font privilégier les tokens les plus probables ; des valeurs plus élevées répartissent les choix sur des tokens moins probables.