Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Préentraînement

Le préentraînement (pretraining) est la première et la plus importante étape de l'entraînement d'un modèle, au cours de laquelle il apprend des schémas généraux à partir d'un très grand jeu de données non étiquetées, généralement en prédisant le token suivant, avant tout ajustement propre à une tâche.

Aussi appelé : pre-training

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

C'est au préentraînement qu'un modèle de langage acquiert l'essentiel de ses connaissances et de ses capacités. Le modèle lit un immense corpus de pages web, de livres, de code et d'autres textes, et il est entraîné à prédire le token suivant à chaque position. Personne n'étiquette les données ; le texte lui-même fournit les bonnes réponses. Le résultat est un modèle de base.

Pourquoi c'est important

Le préentraînement est de loin l'étape la plus coûteuse, si bien que seules quelques organisations le réalisent pour de grands modèles. Presque tous les autres partent d'un checkpoint préentraîné et l'adaptent. L'article sur GPT-3 décrit ce schéma : préentraîner sur un grand corpus, puis faire un fine-tuning pour une tâche. Le rapport de 2021 qui a créé le terme modèle de fondation l'appliquait aux modèles entraînés sur des données larges puis adaptés à de nombreuses tâches.

Ce qui entre dans le préentraînement façonne tout ce qui suit : les langues que le modèle maîtrise, les styles de code qu'il connaît, ce qu'il répète et sa date limite de connaissances. Voir données d'entraînement de l'IA pour l'origine de ces données.

En quoi il diffère du fine-tuning

Le fine-tuning et le post-entraînement (comme l'instruction tuning et le RLHF) utilisent des jeux de données bien plus petits et sélectionnés pour changer le comportement du modèle : suivre des instructions, répondre dans un format, refuser certaines demandes. Ils ajoutent relativement peu de connaissances nouvelles. Si un modèle ne connaît pas un fait, le fine-tuning est généralement un mauvais remède ; la recherche documentaire est souvent meilleure.

Préentraînement continu

Les équipes poursuivent parfois le préentraînement sur un corpus spécialisé, comme des textes juridiques ou médicaux, avant le fine-tuning. Cette étape se situe entre les deux et coûte bien moins qu'un préentraînement à partir de zéro.

Termes liés

Fine-tuning
Le fine-tuning (ajustement fin) est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données plus petit et propre à une tâche, pour que le modèle adopte une compétence, un format, un ton ou un domaine particuliers sans être entraîné de zéro.
Modèle de fondation
Un modèle de fondation (foundation model) est un grand modèle entraîné à grande échelle sur des données variées, qui peut être adapté à de nombreuses tâches en aval, par prompting ou par fine-tuning, au lieu d'être conçu pour une seule tâche.
Données d'entraînement de l'IA
Les données d'entraînement de l'IA sont l'ensemble des exemples dont un modèle apprend, comme du texte web, du code, des images, des transcriptions ou des paires annotées. Leur volume, leur qualité, leur composition et leurs licences déterminent ce que le modèle sait faire et là où il échoue.
Modèle de base
Un modèle de base (base model) est un modèle de langage tout juste sorti du pré-entraînement, avant l'ajustement aux instructions ou l'entraînement par retour humain. Il prolonge le texte qu'on lui donne au lieu de suivre des instructions ou de tenir une conversation.
Date limite des connaissances
La date limite des connaissances (knowledge cutoff) est la date après laquelle un modèle ne dispose que de peu ou pas d'informations, parce que ses données d'entraînement ont été collectées jusqu'à cette période environ. Les événements postérieurs lui sont inconnus, sauf s'ils sont fournis dans le prompt.

Sources