Modelo de visión y lenguaje
Un modelo de visión y lenguaje (VLM, vision-language model) es un modelo que recibe imágenes y texto como entrada y produce texto, de modo que puede describir imágenes, responder preguntas sobre ellas, leer documentos y extraer datos de capturas de pantalla.
También llamado: VLM
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Los VLM son los que permiten a un chatbot leer la foto de un recibo o un contrato escaneado. Son una herramienta clave para el parsing de documentos, donde cada vez más sustituyen o complementan al OCR clásico.
Cómo funciona
Un VLM típico tiene un codificador de visión que convierte una imagen en un conjunto de vectores, un pequeño conector que lleva esos vectores al espacio de entrada del modelo de lenguaje y un modelo de lenguaje grande que los lee junto al prompt de texto. LLaVA, de 2023, es un ejemplo abierto conocido: conecta un codificador de visión a un LLM y se entrenó con datos de seguimiento de instrucciones sobre imágenes. Flamingo de DeepMind se describió en 2022 como una familia de modelos de lenguaje visual.
VLM frente a OCR
El OCR convierte píxeles en caracteres. Un VLM también puede entender la maquetación, las tablas, los gráficos y la escritura a mano, y responder preguntas sobre ellos. Algunos VLM están ajustados para documentos, como DeepSeek-OCR 2.
Límites
Los VLM pueden leer mal el texto pequeño, confundir números en tablas densas o describir detalles que no están en la imagen, una forma visual de alucinación. Comprueba las cifras extraídas antes de confiar en ellas. Los VLM son un tipo de modelo multimodal.
Términos relacionados
- Modelo multimodal
- Un modelo multimodal es un modelo de IA que puede recibir, y a veces producir, más de un tipo de datos, como texto, imágenes, audio o vídeo, dentro de un único modelo y no mediante sistemas separados.
- Reconocimiento óptico de caracteres
- El reconocimiento óptico de caracteres (OCR) es software que lee texto de imágenes, como páginas escaneadas, fotos o capturas de pantalla, y lo convierte en caracteres legibles por máquina que se pueden buscar, copiar o pasar a un modelo.
- Análisis de documentos
- El análisis de documentos (document parsing) convierte archivos como PDF, escaneos, presentaciones y hojas de cálculo en texto estructurado que el software puede usar, conservando títulos, orden de lectura, tablas e imágenes en lugar de un flujo plano de caracteres.
- Alucinación (IA)
- Una alucinación es una salida de un modelo de IA que suena fluida y segura, pero que es falsa, no está respaldada por sus fuentes o es inventada, como una cita bibliográfica, una frase, una estadística o una función de API que no existen.
- Extracción de tablas
- La extracción de tablas (table extraction) es la tarea de encontrar tablas en documentos y reconstruir sus filas, columnas, encabezados y celdas como datos estructurados, por ejemplo HTML, Markdown o CSV, en lugar de líneas sueltas de texto.