Alignement de l'IA
L'alignement de l'IA (AI alignment) est le travail qui consiste à faire correspondre le comportement d'un système d'IA à ce que ses utilisateurs et développeurs veulent réellement, pour qu'il soit utile, honnête et évite de nuire, au lieu de simplement prédire un texte probable ou d'optimiser un score étroit.
Aussi appelé : alignment, model alignment
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Un modèle entraîné uniquement à prédire le mot suivant apprend à imiter internet, y compris ses erreurs et ses pires contenus. L'article sur InstructGPT posait le problème simplement : agrandir les modèles de langage ne les rend pas, à lui seul, meilleurs pour suivre l'intention de l'utilisateur, et de tels modèles peuvent être mensongers, toxiques ou inutiles. En ce sens, ils ne sont pas alignés sur leurs utilisateurs.
Comment les modèles sont alignés aujourd'hui
La plupart des modèles de chat passent par un post-entraînement après le pré-entraînement. D'abord un fine-tuning supervisé sur des exemples de bonnes réponses. Puis un entraînement sur les préférences : des personnes classent des paires de réponses, et le modèle est ajusté vers celles qu'elles préfèrent, via le RLHF avec un modèle de récompense ou directement avec des méthodes comme DPO. Les laboratoires rédigent aussi des règles ou des principes que le modèle est entraîné à suivre, et testent le résultat par du red teaming.
Deux sens du mot
Dans le travail produit, l'alignement désigne en général l'objectif pratique décrit plus haut : un modèle qui suit les instructions, refuse les demandes clairement nuisibles et reconnaît son incertitude. Dans la recherche en sûreté de l'IA, il couvre aussi une question à plus long terme : comment faire en sorte que des systèmes bien plus capables continuent de poursuivre les objectifs voulus par les humains, quand ces objectifs sont difficiles à spécifier et que le système peut trouver des raccourcis. Les deux se recoupent sans être identiques.
Limites
L'entraînement à l'alignement modifie le comportement, pas les connaissances sous-jacentes, et il peut être contourné. Un jailbreak est la preuve d'une faille d'alignement. L'entraînement sur les préférences peut aussi apprendre à un modèle à plaire aux évaluateurs, par exemple en étant complaisant ou bavard, plutôt qu'à avoir raison. C'est pourquoi les applications ajoutent encore leurs propres garde-fous et évaluations par-dessus.
Termes liés
- RLHF
- Le RLHF (reinforcement learning from human feedback, apprentissage par renforcement à partir de retours humains) ajuste un modèle de langage à l'aide de classements humains de ses réponses : un modèle de récompense apprend ces préférences, puis l'apprentissage par renforcement pousse le modèle vers les réponses qui obtiennent un bon score.
- Red teaming de l'IA
- Le red teaming de l'IA (AI red teaming) consiste à attaquer délibérément un modèle ou une application d'IA avant et après sa publication, avec des testeurs humains ou des outils automatisés, pour trouver les sorties nuisibles, les jailbreaks, les injections et autres défaillances afin de les corriger.
- Direct preference optimization
- La direct preference optimization (DPO, optimisation directe des préférences) est une façon d'aligner un modèle de langage sur les préférences humaines en l'entraînant directement sur des paires de réponses préférées et rejetées, avec une fonction de perte simple de type classification au lieu d'un modèle de récompense et d'apprentissage par renforcement.
- Modèle de récompense
- Un modèle de récompense (reward model) est un modèle distinct, entraîné sur des données de préférences humaines, qui note la qualité d'une réponse. L'apprentissage par renforcement utilise ensuite ce score pour orienter un modèle de langage vers les réponses que les gens préfèrent.
- Jailbreak (LLM)
- Un jailbreak (débridage) est un prompt ou une technique qui amène un modèle de langage à produire une sortie que son entraînement à la sûreté est censé refuser, comme des instructions dangereuses, au moyen de jeux de rôle, d'obscurcissement, d'encodages inhabituels ou de longs textes adverses.