Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Observabilité des LLM

L'observabilité des LLM (LLM observability) consiste à enregistrer ce que fait une application d'IA en production, y compris les prompts, les réponses, les appels d'outils, la latence, la consommation de tokens et le coût, sous forme de traces consultables, afin de déboguer les défaillances et de voir comment le système se comporte dans le temps.

Aussi appelé : tracing, LLM monitoring, LLM tracing, traces, spans

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Un service web classique échoue bruyamment : une exception, une erreur 500. Une application LLM échoue souvent en silence, avec une réponse fausse donnée avec assurance ou un agent qui enchaîne de nombreux appels d'outils avant d'abandonner. Les outils d'observabilité capturent assez de détails pour voir ce qui s'est passé et pourquoi.

Le traçage des LLM

L'unité de base est la trace. OpenTelemetry, un standard ouvert que beaucoup de ces outils prennent en charge, définit une trace comme le parcours d'une requête à travers une application, et un span comme une unité de travail à l'intérieur de ce parcours. Dans une application LLM, une question d'utilisateur devient une trace, et ses spans peuvent être la requête de recherche, le reranker, chaque appel au modèle et chaque appel d'outil, imbriqués dans l'ordre d'exécution. Chaque span enregistre ses entrées, ses sorties, sa durée et des attributs comme le nom du modèle et le nombre de tokens. OpenTelemetry maintient aussi des conventions sémantiques pour l'IA générative, afin que des outils différents nomment ces champs de la même façon.

Ce que les équipes en font

Déboguer une mauvaise réponse en lisant la trace complète. Repérer les étapes lentes et les coûts en tokens qui augmentent. Regrouper les défaillances pour y trouver des tendances. Rattacher les retours des utilisateurs aux traces, et transformer de vraies défaillances en cas de test pour l'évaluation des LLM et les tests de régression. Beaucoup de plateformes associent traçage et évaluations, par exemple Langfuse, Arize Phoenix et LangSmith. Le guide de l'étape observabilité les compare.

Limites et précautions

Les traces stockent tout ce que les utilisateurs ont saisi, ce qui inclut souvent des données personnelles ou confidentielles. Appliquez-leur donc le caviardage des PII et des contrôles d'accès, comme vous le feriez pour une base de données de production. Journaliser chaque token de chaque requête coûte aussi en stockage, c'est pourquoi les équipes échantillonnent le trafic dense.

Termes liés

Évaluation de LLM
L'évaluation de LLM, souvent appelée evals, consiste à mesurer la façon dont un modèle ou une application d'IA accomplit une tâche en l'exécutant sur un ensemble de cas de test et en notant les sorties selon des critères définis, par du code, par des humains ou par un autre modèle.
Tests de régression (applications LLM)
Les tests de régression pour les applications LLM consistent à relancer un ensemble fixe de cas d'évaluation après chaque modification d'un prompt, d'un modèle, d'une configuration de recherche ou d'un outil, pour repérer les cas qui fonctionnaient et qui échouent désormais.
Passerelle LLM
Une passerelle LLM (LLM gateway) est un serveur proxy placé entre vos applications et les fournisseurs de modèles, qui expose une seule API et gère en un seul endroit les clés, le routage, les replis, les limites de débit, la journalisation et le suivi des dépenses.
Tarification au token
La tarification au token (token pricing) est la façon dont la plupart des API de modèles d'IA facturent : un prix fixe par million de tokens d'entrée envoyés et un prix distinct, généralement plus élevé, par million de tokens de sortie générés par le modèle, avec des remises pour les entrées en cache et les traitements batch.
Caviardage des PII
Le caviardage des PII (PII redaction) consiste à détecter puis supprimer ou masquer les informations personnelles identifiables, comme les noms, numéros de téléphone, adresses et numéros de carte, dans du texte ou des images avant de les envoyer à un modèle, de les stocker dans des journaux ou de les montrer à d'autres.

Sources