Grand modèle de langage
Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
Aussi appelé : LLM, LLMs
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Un LLM est le moteur des assistants conversationnels, des agents de code et de la plupart des fonctions textuelles des produits d'IA. Vous lui envoyez du texte, il renvoie du texte, un token à la fois.
Comment ça marche
Presque tous les LLM actuels utilisent l'architecture transformer. Pendant le pré-entraînement, il lit un très grand corpus de texte et apprend à prédire le token suivant à partir de tout ce qui précède. Cet objectif simple produit un modèle capable de traduire, de répondre à des questions et d'écrire du code. Un entraînement supplémentaire, comme le fine-tuning et le RLHF, transforme le modèle brut en un assistant qui suit des instructions.
Ce que signifie « grand »
Il n'existe pas de seuil fixe. GPT-3, décrit en 2020, comptait 175 milliards de paramètres, et l'étiquette est restée attachée aux modèles de cette taille et au-delà. Les modèles de quelques milliards de paramètres sont généralement appelés petits modèles de langage.
Limites
Un LLM ne sait que ce qui figurait dans ses données d'entraînement jusqu'à sa date limite des connaissances, et il peut énoncer des choses fausses avec aisance. Il ne voit aussi que ce qui tient dans sa fenêtre de contexte. Les développeurs ajoutent généralement de la récupération, des outils ou des vérifications autour du modèle plutôt que de se fier à sa sortie brute. Comparez les modèles actuels dans le répertoire des modèles.
Termes liés
- Token (LLM)
- Un token (LLM), ou jeton, est l'unité de texte de base qu'un modèle de langage lit et écrit, souvent un mot, une partie de mot, un signe de ponctuation ou un octet. Les prix, la vitesse et les limites de contexte se comptent tous en tokens.
- Transformer (architecture)
- Le transformer est une architecture de réseau de neurones, présentée en 2017, qui traite les séquences à l'aide de l'attention plutôt que de la récurrence. Elle est à la base de presque tous les grands modèles de langage actuels et de nombreux modèles d'image et d'audio.
- Petit modèle de langage
- Un petit modèle de langage (small language model, SLM) est un modèle de langage doté de relativement peu de paramètres, généralement quelques milliards ou moins, conçu pour tourner sur un ordinateur portable, un téléphone ou un seul GPU à un coût inférieur à celui d'un grand modèle.
- Préentraînement
- Le préentraînement (pretraining) est la première et la plus importante étape de l'entraînement d'un modèle, au cours de laquelle il apprend des schémas généraux à partir d'un très grand jeu de données non étiquetées, généralement en prédisant le token suivant, avant tout ajustement propre à une tâche.
- Fenêtre de contexte
- Une fenêtre de contexte (context window) est la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte à la fois, y compris le prompt système, la conversation, les documents, les résultats d'outils et la réponse qu'il rédige.
- Hallucination (IA)
- Une hallucination est une sortie d'un modèle d'IA qui paraît fluide et assurée mais qui est fausse, non étayée par ses sources ou inventée, comme une référence, une citation, une statistique ou une fonction d'API imaginaires.