Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Les modèles et leur fonctionnement

Ce que sont les modèles de langage et les autres modèles d’IA, comment on les construit et les dimensionne, et les mots qui les décrivent.

Date limite des connaissances
La date limite des connaissances (knowledge cutoff) est la date après laquelle un modèle ne dispose que de peu ou pas d'informations, parce que ses données d'entraînement ont été collectées jusqu'à cette période environ. Les événements postérieurs lui sont inconnus, sauf s'ils sont fournis dans le prompt.
Distillation des connaissances
La distillation des connaissances (knowledge distillation) est une méthode d'entraînement dans laquelle un modèle élève plus petit apprend à imiter les sorties d'un modèle enseignant plus grand, ce qui produit un modèle distillé qui conserve une grande partie des compétences de l'enseignant pour un coût moindre.
Fenêtre de contexte
Une fenêtre de contexte (context window) est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte à la fois, y compris le prompt système, la conversation, les documents, les résultats d'outils et la réponse qu'il rédige.
GGUF
GGUF est un format de fichier binaire qui stocke les poids, le tokenizer et les métadonnées d'un modèle dans un seul fichier, conçu pour un chargement rapide et l'inférence locale avec des outils basés sur GGML comme llama.cpp, souvent sous forme quantifiée.
Grand modèle de langage
Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
Hallucination (IA)
Une hallucination est une sortie d'un modèle d'IA qui paraît fluide et assurée mais qui est fausse, non étayée par ses sources ou inventée, comme une référence, une citation, une statistique ou une fonction d'API imaginaires.
IA open source
L'IA open source (open source AI) désigne un système d'IA publié sous des conditions qui permettent à chacun de l'utiliser, de l'étudier, de le modifier et de le partager, avec accès aux éléments nécessaires pour le modifier : informations sur les données d'entraînement, code complet et paramètres du modèle.
Licence de modèle
Une licence de modèle (model license) regroupe les conditions juridiques selon lesquelles les poids d'un modèle, et parfois son code et ses données, peuvent être utilisés, modifiés et partagés. Les conditions vont des licences ouvertes permissives aux licences non commerciales ou sur mesure restrictives.
Mécanisme d'attention
Un mécanisme d'attention permet à un réseau de neurones de décider, pour chaque token qu'il traite, quel poids accorder à chacun des autres tokens de l'entrée. L'auto-attention (self-attention) est l'opération centrale d'un transformer.
Mixture of experts
Le mixture of experts (MoE, mélange d'experts) est une architecture de modèle dans laquelle chaque couche contient plusieurs sous-réseaux experts et un routeur envoie chaque token à quelques-uns seulement, si bien qu'une partie seulement du modèle s'exécute par token.
Modèle à espace d'états
Un modèle à espace d'états (state space model, SSM) est un modèle de séquence qui transporte un état caché de taille fixe à mesure qu'il lit chaque token, si bien que son coût croît linéairement avec la longueur de l'entrée. Mamba en est l'exemple le plus connu.
Modèle autorégressif
Un modèle autorégressif génère une séquence morceau par morceau, en prédisant chaque token suivant à partir de tous les tokens précédents et en réinjectant cette sortie en entrée. La plupart des grands modèles de langage fonctionnent ainsi.
Modèle de base
Un modèle de base (base model) est un modèle de langage tout juste sorti du pré-entraînement, avant l'ajustement aux instructions ou l'entraînement par retour humain. Il prolonge le texte qu'on lui donne au lieu de suivre des instructions ou de tenir une conversation.
Modèle de fondation
Un modèle de fondation (foundation model) est un grand modèle entraîné à grande échelle sur des données variées, qui peut être adapté à de nombreuses tâches en aval, par prompting ou par fine-tuning, au lieu d'être conçu pour une seule tâche.
Modèle de frontière
Un modèle de frontière (frontier model) est l'un des modèles d'IA généralistes les plus performants disponibles à un moment donné, généralement issu d'un laboratoire bien financé. Le terme est relatif et apparaît aussi dans les politiques de sûreté de l'IA.
Modèle de langage par diffusion
Un modèle de langage par diffusion (dLLM) génère du texte en partant d'une séquence entièrement masquée ou bruitée et en affinant de nombreuses positions de tokens en parallèle sur plusieurs étapes, au lieu d'écrire un token à la fois.
Modèle de raisonnement
Un modèle de raisonnement (reasoning model) est un modèle de langage entraîné à résoudre un problème au fil d'un flux de tokens de réflexion intermédiaires avant de donner sa réponse finale, ce qui aide généralement en mathématiques, en code et sur les tâches à plusieurs étapes.
Modèle instruct
Un modèle instruct est un modèle de langage de base qui a été entraîné en plus sur des instructions associées à de bonnes réponses, et souvent sur des retours humains, afin qu'il suive les demandes au lieu de simplement prolonger le texte.
Modèle multimodal
Un modèle multimodal est un modèle d'IA capable de recevoir, et parfois de produire, plusieurs types de données, comme du texte, des images, de l'audio ou de la vidéo, au sein d'un seul modèle plutôt que par des systèmes séparés.
Modèle open-weight
Un modèle open-weight (modèle à poids ouverts) est un modèle dont les poids entraînés sont publiés pour que chacun puisse les télécharger et les exécuter, souvent sans le code d'entraînement ni l'ensemble des données d'entraînement ; il n'est donc pas forcément open source.
Modèle vision-langage
Un modèle vision-langage (vision-language model, VLM) est un modèle qui reçoit des images et du texte en entrée et produit du texte, si bien qu'il peut décrire des images, répondre à des questions à leur sujet, lire des documents et extraire des données de captures d'écran.
ONNX
ONNX (Open Neural Network Exchange) est un format de fichier ouvert pour les modèles de machine learning. Il décrit un modèle comme un graphe d'opérateurs standard, afin qu'il puisse être entraîné dans un framework et exécuté dans un autre.
Paramètres du modèle
Les paramètres d'un modèle (model parameters) sont les nombres qu'un réseau de neurones apprend pendant l'entraînement, surtout des poids. Le nombre de paramètres, écrit 7B pour sept milliards, est le raccourci habituel pour désigner la taille d'un modèle.
Petit modèle de langage
Un petit modèle de langage (small language model, SLM) est un modèle de langage doté de relativement peu de paramètres, généralement quelques milliards ou moins, conçu pour tourner sur un ordinateur portable, un téléphone ou un seul GPU à un coût inférieur à celui d'un grand modèle.
Poids du modèle
Les poids d'un modèle (model weights) sont les nombres appris à l'intérieur d'un réseau de neurones, fixés pendant l'entraînement, qui déterminent comment il transforme une entrée en sortie. Un checkpoint est un fichier ou un ensemble de fichiers sauvegardé qui contient ces poids.
Préentraînement
Le préentraînement (pretraining) est la première et la plus importante étape de l'entraînement d'un modèle, au cours de laquelle il apprend des schémas généraux à partir d'un très grand jeu de données non étiquetées, généralement en prédisant le token suivant, avant tout ajustement propre à une tâche.
Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
Safetensors
Safetensors est un format de fichier de Hugging Face pour stocker les poids des modèles. Contrairement aux fichiers pickle de Python, son chargement ne peut pas exécuter de code caché, et il permet un chargement rapide, par projection en mémoire, de tenseurs individuels.
Test-time compute
Le test-time compute (calcul au moment de l'inférence) est la quantité de calcul qu'un modèle consacre à répondre à une requête, et non à l'entraînement. Laisser un modèle réfléchir plus longtemps ou essayer plusieurs réponses peut améliorer les résultats sur les problèmes difficiles.
Token (LLM)
Un token (LLM), ou jeton, est l'unité de texte de base qu'un modèle de langage lit et écrit, souvent un mot, une partie de mot, un signe de ponctuation ou un octet. Les prix, la vitesse et les limites de contexte se comptent tous en tokens.
Tokenizer
Un tokenizer est le composant qui découpe le texte en tokens et les transforme en identifiants numériques qu'un modèle de langage peut traiter, puis qui retransforme en texte les identifiants produits par le modèle.
Transformer (architecture)
Le transformer est une architecture de réseau de neurones, présentée en 2017, qui traite les séquences à l'aide de l'attention plutôt que de la récurrence. Elle est à la base de presque tous les grands modèles de langage actuels et de nombreux modèles d'image et d'audio.
Weight-space programming
La weight-space programming (programmation dans l'espace des poids) est une capacité proposée dans laquelle un modèle de langage lit les poids d'un réseau de neurones pour comprendre ce qu'il calcule, puis écrit ou modifie ces poids directement, sans entraînement par gradient, comme un programmeur modifie du code.
World model
Un world model (modèle du monde) est un modèle d'IA qui apprend assez bien le fonctionnement d'un environnement pour prédire ce qui va se passer ensuite, souvent à partir de vidéos ou de données de capteurs, afin qu'un agent puisse planifier ou s'entraîner dans la simulation.