Modèle multimodal
Un modèle multimodal est un modèle d'IA capable de recevoir, et parfois de produire, plusieurs types de données, comme du texte, des images, de l'audio ou de la vidéo, au sein d'un seul modèle plutôt que par des systèmes séparés.
Aussi appelé : multimodal AI
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Beaucoup de modèles phares actuels sont multimodaux : vous pouvez coller une capture d'écran, un graphique ou une page de PDF dans une conversation et poser des questions dessus. Certains produisent aussi des images ou de la parole.
Comment ça marche
Une conception courante relie un encodeur préentraîné pour chaque type d'entrée supplémentaire à un grand modèle de langage. L'encodeur transforme une image ou un extrait audio en vecteurs que le modèle de langage peut lire avec les tokens de texte. Flamingo de DeepMind l'a montré en 2022, en reliant des modèles préentraînés uniquement visuels et uniquement linguistiques, et en s'entraînant sur des données web où images et texte s'entremêlent. D'autres modèles sont entraînés sur plusieurs modalités dès le départ.
Multimodal ou vision-langage
Un modèle vision-langage est le type de modèle multimodal le plus courant ; il traite images et texte. « Multimodal » est le terme plus large et peut aussi couvrir l'audio, comme dans les systèmes speech-to-speech, ou la vidéo.
Limites
La prise en charge varie beaucoup. Un modèle peut accepter des images sans en produire, ou ne traiter l'audio que par un pipeline séparé. Les images et l'audio occupent aussi la fenêtre de contexte et augmentent le coût. Vérifiez ce que chaque modèle accepte réellement dans l'annuaire des modèles.
Termes liés
- Modèle vision-langage
- Un modèle vision-langage (vision-language model, VLM) est un modèle qui reçoit des images et du texte en entrée et produit du texte, si bien qu'il peut décrire des images, répondre à des questions à leur sujet, lire des documents et extraire des données de captures d'écran.
- Grand modèle de langage
- Un grand modèle de langage (LLM, large language model) est un réseau de neurones doté de milliards de paramètres, entraîné sur de grandes quantités de texte à prédire le token suivant, ce qui lui permet d'écrire, de répondre à des questions, de résumer et de suivre des instructions.
- Modèle de fondation
- Un modèle de fondation (foundation model) est un grand modèle entraîné à grande échelle sur des données variées, qui peut être adapté à de nombreuses tâches en aval, par prompting ou par fine-tuning, au lieu d'être conçu pour une seule tâche.
- Modèle speech-to-speech
- Un modèle speech-to-speech (parole à parole) reçoit de l'audio parlé et produit directement de l'audio parlé, sans convertir d'abord la parole en texte puis l'inverse. Il sert à la conversation vocale en direct et à la traduction.
- Text-to-image
- Le text-to-image (texte vers image) consiste à générer une nouvelle image à partir d'une description écrite, appelée prompt. La plupart des modèles text-to-image actuels sont des modèles de diffusion conditionnés par le texte.