Modèle de base
Un modèle de base (base model) est un modèle de langage tout juste sorti du pré-entraînement, avant l'ajustement aux instructions ou l'entraînement par retour humain. Il prolonge le texte qu'on lui donne au lieu de suivre des instructions ou de tenir une conversation.
Aussi appelé : pretrained checkpoint, pretrained model, -Base
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Demandez à un modèle de base « Quelle est la capitale de la France ? » et il pourra répondre, ou bien écrire trois autres questions de quiz, car une liste de questions est une suite probable. Il a appris la langue et beaucoup de faits pendant le pré-entraînement, mais on ne lui a pas appris à se comporter en assistant.
Où vous les voyez
Les publications de modèles ouverts proposent souvent deux versions : un checkpoint de base et un modèle instruct. Certains noms l'indiquent, comme ERNIE 5.5 Flash Base. Les API hébergées ne servent presque toujours que la version ajustée.
Pourquoi en utiliser un
Les modèles de base sont le point de départ habituel de votre propre fine-tuning, car ils n'ont pas pris le style, les refus ou le format de chat d'une autre équipe. Les chercheurs s'en servent pour étudier ce que le pré-entraînement produit à lui seul. Ils sont aussi bons pour les tâches de pure continuation, comme compléter du code ou générer du texte dans un style donné.
Vous pouvez tout de même tirer un travail utile d'un modèle de base en formulant le prompt comme un texte qu'il prolongerait naturellement, avec quelques exemples au début. L'article sur GPT-3 a fait exactement cela : il a testé un modèle sans fine-tuning, en ne fournissant les tâches et les exemples que sous forme de texte. C'est le few-shot prompting.
Différence avec un modèle de fondation
Un modèle de fondation est tout modèle généraliste destiné à être adapté à de nombreuses tâches. Un modèle de base est un checkpoint précis : celui qui n'a pas été ajusté. Un modèle instruct construit dessus reste un modèle de fondation, mais n'est plus un modèle de base.
Termes liés
- Modèle instruct
- Un modèle instruct est un modèle de langage de base qui a été entraîné en plus sur des instructions associées à de bonnes réponses, et souvent sur des retours humains, afin qu'il suive les demandes au lieu de simplement prolonger le texte.
- Préentraînement
- Le préentraînement (pretraining) est la première et la plus importante étape de l'entraînement d'un modèle, au cours de laquelle il apprend des schémas généraux à partir d'un très grand jeu de données non étiquetées, généralement en prédisant le token suivant, avant tout ajustement propre à une tâche.
- Modèle de fondation
- Un modèle de fondation (foundation model) est un grand modèle entraîné à grande échelle sur des données variées, qui peut être adapté à de nombreuses tâches en aval, par prompting ou par fine-tuning, au lieu d'être conçu pour une seule tâche.
- Fine-tuning
- Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
- Few-shot prompting
- Le few-shot prompting (prompting par quelques exemples) consiste à donner à un modèle de langage une poignée d'exemples résolus d'une tâche dans le prompt, pour qu'il reproduise le schéma sur une nouvelle entrée sans aucun réentraînement.