Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Exécution et déploiement

Fine-tuning, service et hébergement des modèles, et le sens des termes liés au matériel et aux prix.

API batch
Une API batch (traitement par lots) vous permet de soumettre un grand ensemble de requêtes à un modèle en une seule tâche et d'en récupérer les résultats plus tard, au lieu d'attendre chaque appel. Les fournisseurs exécutent la tâche quand la capacité le permet et la facturent en général moins cher.
API compatible OpenAI
Une API compatible OpenAI (OpenAI-compatible API) est un point de terminaison d'un autre fournisseur ou outil qui accepte le même format de requête et de réponse que l'API d'OpenAI, si bien que du code écrit pour OpenAI peut y basculer en changeant l'URL de base, la clé et le nom du modèle.
Auto-hébergement (modèles d'IA)
Auto-héberger un modèle d'IA (self-hosting) signifie le faire tourner sur du matériel que vous contrôlez, comme vos propres serveurs, des GPU loués ou un ordinateur portable, au lieu d'appeler l'API d'un fournisseur. Vous choisissez le modèle et gardez les données, mais vous gérez l'infrastructure.
Cache sémantique
Un cache sémantique (semantic cache) stocke les réponses passées d'un LLM et en renvoie une quand une nouvelle requête signifie à peu près la même chose qu'une précédente, d'après la similarité des embeddings plutôt qu'une correspondance exacte du texte. Il économise du coût et de la latence sur les questions répétées.
Clé API
Une clé API est une chaîne secrète qu'une application envoie avec chaque requête pour qu'un service sache quel compte appelle, applique ses limites et le facture. Toute personne qui détient la clé peut généralement s'en servir.
Cloud GPU
Un cloud GPU est un service qui loue des machines à GPU à l'heure ou à la seconde pour l'entraînement, le fine-tuning et l'inférence en IA. Des fournisseurs spécialisés, parfois appelés neoclouds, se concentrent sur les GPU et facturent souvent moins cher que les grands clouds généralistes.
Continuous batching
Le continuous batching (traitement par lots continu) est une technique de service de modèles qui ajoute de nouvelles requêtes au lot en cours sur le GPU et retire celles qui sont terminées après chaque étape de génération, au lieu d'attendre la fin d'un lot entier. Il garde le GPU occupé et augmente le débit.
Déchargement sur le CPU
Le déchargement sur le CPU (CPU offloading) permet de faire tourner un modèle qui ne tient pas dans la mémoire du GPU en gardant une partie de ses couches dans la RAM système, ou sur disque, et en utilisant le GPU pour le reste. Le modèle tourne, mais plus lentement.
Décodage spéculatif
Le décodage spéculatif (speculative decoding) accélère la génération de texte en laissant un petit modèle brouillon rapide proposer plusieurs tokens, que le grand modèle vérifie ensuite en une seule passe, en gardant ceux qu'il accepte. La sortie est identique à ce que produirait le grand modèle seul.
Direct preference optimization
La direct preference optimization (DPO, optimisation directe des préférences) est une façon d'aligner un modèle de langage sur les préférences humaines en l'entraînant directement sur des paires de réponses préférées et rejetées, avec une fonction de perte simple de type classification au lieu d'un modèle de récompense et d'apprentissage par renforcement.
Données d'entraînement de l'IA
Les données d'entraînement de l'IA sont l'ensemble des exemples dont un modèle apprend, comme du texte web, du code, des images, des transcriptions ou des paires annotées. Leur volume, leur qualité, leur composition et leurs licences déterminent ce que le modèle sait faire et là où il échoue.
Données synthétiques
Les données synthétiques (synthetic data) sont des données d'entraînement ou de test générées par un logiciel, souvent par un autre modèle d'IA, plutôt que collectées à partir de sources réelles. Elles servent à combler des lacunes, à ajouter des exemples à moindre coût ou à éviter d'exposer de vraies données personnelles.
Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Fine-tuning efficace en paramètres
Le fine-tuning efficace en paramètres (parameter-efficient fine-tuning, PEFT) adapte un modèle préentraîné en n'entraînant qu'un petit nombre de paramètres nouveaux ou sélectionnés, et laisse le reste gelé. Il réduit la mémoire, le calcul et le stockage qu'exige un fine-tuning complet.
Fine-tuning supervisé
Le fine-tuning supervisé (supervised fine-tuning, SFT) poursuit l'entraînement d'un modèle préentraîné sur des exemples de prompts associés aux réponses souhaitées. C'est la première étape habituelle pour transformer un modèle de base en modèle qui suit les instructions.
Fournisseur d'inférence
Un fournisseur d'inférence (inference provider) est une entreprise qui fait tourner des modèles d'IA sur son propre matériel et en vend l'accès par une API, généralement facturée au token. Vous envoyez des prompts et recevez des sorties sans gérer vous-même de GPU.
GPU
Un GPU (graphics processing unit, processeur graphique) est un processeur doté de nombreux petits cœurs conçus pour exécuter beaucoup de calculs en parallèle. Sa rapidité en calcul matriciel en fait le matériel standard pour entraîner et faire tourner les modèles d'IA.
GPU serverless
Le GPU serverless est un modèle cloud dans lequel vous déployez du code ou un modèle et la plateforme ne démarre des workers GPU qu'à l'arrivée des requêtes, facture le temps pendant lequel ils tournent et descend à zéro quand il n'y a pas d'activité.
Inférence
L'inférence consiste à faire tourner un modèle entraîné pour produire une sortie à partir d'une nouvelle entrée, comme un LLM qui génère une réponse à un prompt. C'est l'étape que les utilisateurs paient à chaque appel d'un modèle, par opposition à l'entraînement.
KV cache
Un KV cache (cache clé-valeur) stocke les clés et valeurs d'attention qu'un transformer a déjà calculées pour les tokens précédents, de sorte que chaque nouveau token ne demande de travail que pour lui-même. Il accélère la génération mais occupe une mémoire GPU qui augmente avec la longueur du contexte.
Limite de débit (API)
Une limite de débit (rate limit) plafonne l'usage qu'un compte peut faire d'une API sur une période donnée, généralement en requêtes par minute (RPM) et en tokens par minute (TPM). Les requêtes au-delà de la limite sont rejetées, en général avec une erreur HTTP 429.
LLM local
Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.
LoRA
LoRA (low-rank adaptation, adaptation de rang faible) est une méthode de fine-tuning qui gèle les poids d'origine d'un modèle et entraîne de petites matrices de rang faible ajoutées à ses couches, si bien que beaucoup moins de paramètres changent et qu'il faut bien moins de mémoire GPU.
Mémoire unifiée
La mémoire unifiée (unified memory) est une conception dans laquelle le CPU et le GPU partagent un seul espace mémoire au lieu d'avoir chacun le leur. Sur les Mac Apple Silicon et les puces similaires, elle permet à un modèle d'IA local d'utiliser l'essentiel de la RAM du système comme mémoire GPU.
Modèle de récompense
Un modèle de récompense (reward model) est un modèle distinct, entraîné sur des données de préférences humaines, qui note la qualité d'une réponse. L'apprentissage par renforcement utilise ensuite ce score pour orienter un modèle de langage vers les réponses que les gens préfèrent.
Modèle de repli
Le repli de modèle (model fallback) est une règle qui envoie une requête à un modèle ou un fournisseur de secours quand le premier choix échoue, expire, atteint une limite de débit ou rejette l'entrée. Il maintient une fonction d'IA en état de marche pendant les pannes.
NPU
Un NPU (neural processing unit, processeur neuronal) est une puce, ou un bloc dans une puce plus grande, conçu pour exécuter les calculs des réseaux de neurones rapidement et en consommant peu d'énergie. Les téléphones et les ordinateurs portables utilisent des NPU pour faire tourner de petits modèles d'IA sur l'appareil.
PagedAttention
PagedAttention est une méthode qui stocke le KV cache d'un modèle de langage dans de petits blocs de taille fixe qui n'ont pas besoin d'être contigus dans la mémoire du GPU, comme les pages d'un système d'exploitation. Elle réduit la mémoire gaspillée, si bien qu'un serveur peut traiter davantage de requêtes à la fois.
Parallélisme de tenseurs
Le parallélisme de tenseurs (tensor parallelism) répartit chaque couche d'un réseau de neurones sur plusieurs GPU, de sorte que chaque GPU détient une partie de chaque matrice de poids et calcule sa part de chaque étape. Il permet de faire tourner sur plusieurs GPU un modèle trop grand pour un seul.
Précision numérique (FP16, BF16, FP8)
La précision numérique est le format de nombre utilisé pour stocker les poids d'un modèle et effectuer ses calculs, comme FP32, FP16, BF16, FP8 ou INT4. Moins de bits par nombre signifie moins de mémoire et une inférence plus rapide, avec un certain risque pour la précision des résultats.
Prompt caching
Le prompt caching (mise en cache des prompts) est une fonctionnalité d'API qui stocke la forme traitée d'un préfixe de prompt répété, comme un long prompt système ou un document, pour que les requêtes suivantes commençant par le même préfixe soient moins chères et plus rapides.
RLHF
Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
Service de modèles
Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.
Streaming (sortie de LLM)
Le streaming envoie la sortie d'un LLM au client morceau par morceau, à mesure que les tokens sont générés, au lieu d'attendre la réponse complète. Les utilisateurs voient le texte apparaître en quelques instants, même quand la réponse complète prend bien plus longtemps.
Tarification au token
La tarification au token (token pricing) est la façon dont la plupart des API de modèles d'IA facturent : un prix fixe par million de tokens d'entrée envoyés et un prix distinct, généralement plus élevé, par million de tokens de sortie générés par le modèle, avec des remises pour les entrées en cache et les traitements batch.
Time to first token
Le time to first token (TTFT, délai avant le premier token) est le temps qu'un utilisateur attend entre l'envoi d'une requête à un modèle de langage et la réception du premier token de sa réponse, ce qui couvre la mise en file d'attente, le traitement du prompt et le temps réseau.
Tokens par seconde
Les tokens par seconde (tokens per second, tok/s) mesurent la vitesse à laquelle un modèle de langage produit sa sortie. Le chiffre est donné soit par utilisateur, la vitesse à laquelle une réponse s'affiche en streaming, soit pour l'ensemble du système, la sortie totale de toutes les requêtes simultanées.
TPU
Un TPU (tensor processing unit) est la puce conçue par Google pour le machine learning, construite autour de grandes unités de multiplication de matrices et d'une mémoire à haute bande passante. Google propose les TPU à d'autres entreprises sous forme de service en location sur Google Cloud.
VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.