Modèle vision-langage
Un modèle vision-langage (vision-language model, VLM) est un modèle qui reçoit des images et du texte en entrée et produit du texte, si bien qu'il peut décrire des images, répondre à des questions à leur sujet, lire des documents et extraire des données de captures d'écran.
Aussi appelé : VLM
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Les VLM sont ce qui permet à un chatbot de lire la photo d'un ticket de caisse ou un contrat numérisé. Ils sont un outil central du parsing de documents, où ils remplacent ou épaulent de plus en plus l'OCR classique.
Comment ça marche
Un VLM typique comporte un encodeur visuel qui transforme une image en un ensemble de vecteurs, un petit connecteur qui projette ces vecteurs dans l'espace d'entrée du modèle de langage, et un grand modèle de langage qui les lit avec le prompt textuel. LLaVA, sorti en 2023, en est un exemple ouvert connu : il relie un encodeur visuel à un LLM et a été entraîné sur des données d'instructions portant sur des images. Flamingo de DeepMind, en 2022, se présentait comme une famille de modèles de langage visuel.
VLM ou OCR
L'OCR transforme des pixels en caractères. Un VLM peut aussi comprendre la mise en page, les tableaux, les graphiques et l'écriture manuscrite, et répondre à des questions à leur sujet. Certains VLM sont ajustés pour les documents, comme DeepSeek-OCR 2.
Limites
Les VLM peuvent mal lire un texte de petite taille, confondre des nombres dans des tableaux denses ou décrire des détails absents de l'image, une forme visuelle d'hallucination. Vérifiez les chiffres extraits avant de vous y fier. Les VLM sont un type de modèle multimodal.
Termes liés
- Modèle multimodal
- Un modèle multimodal est un modèle d'IA capable de recevoir, et parfois de produire, plusieurs types de données, comme du texte, des images, de l'audio ou de la vidéo, au sein d'un seul modèle plutôt que par des systèmes séparés.
- Reconnaissance optique de caractères
- La reconnaissance optique de caractères (OCR) est un logiciel qui lit le texte dans des images, comme des pages numérisées, des photos ou des captures d'écran, et le transforme en caractères lisibles par une machine, que l'on peut rechercher, copier ou fournir à un modèle.
- Analyse de documents
- L'analyse de documents (document parsing) convertit des fichiers comme des PDF, des numérisations, des diapositives et des tableurs en texte structuré exploitable par un logiciel, en conservant les titres, l'ordre de lecture, les tableaux et les images au lieu d'un flux plat de caractères.
- Hallucination (IA)
- Une hallucination est une sortie d'un modèle d'IA qui paraît fluide et assurée mais qui est fausse, non étayée par ses sources ou inventée, comme une référence, une citation, une statistique ou une fonction d'API imaginaires.
- Extraction de tableaux
- L'extraction de tableaux (table extraction) consiste à repérer les tableaux dans des documents et à reconstruire leurs lignes, colonnes, en-têtes et cellules sous forme de données structurées, comme du HTML, du Markdown ou du CSV, plutôt que de lignes de texte éparses.