Modelo multimodal
Un modelo multimodal es un modelo de IA que puede recibir, y a veces producir, más de un tipo de datos, como texto, imágenes, audio o vídeo, dentro de un único modelo y no mediante sistemas separados.
También llamado: multimodal AI
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Muchos modelos insignia actuales son multimodales: puedes pegar una captura de pantalla, un gráfico o una página de un PDF en un chat y hacer preguntas sobre ella. Algunos también producen imágenes o voz.
Cómo funciona
Un diseño habitual conecta un codificador preentrenado para cada tipo de entrada adicional a un modelo de lenguaje grande. El codificador convierte una imagen o un clip de audio en vectores que el modelo de lenguaje puede leer junto a los tokens de texto. Flamingo de DeepMind lo demostró en 2022 uniendo modelos preentrenados solo de visión y solo de lenguaje y entrenando con datos web de imágenes y texto intercalados. Otros modelos se entrenan con varias modalidades desde el principio.
Multimodal frente a visión y lenguaje
Un modelo de visión y lenguaje es el tipo más común de modelo multimodal y trabaja con imágenes y texto. "Multimodal" es el término más amplio y también puede abarcar audio, como en los sistemas speech-to-speech, o vídeo.
Límites
El soporte varía mucho. Un modelo puede aceptar imágenes pero no generarlas, o tratar el audio solo mediante una cadena aparte. Las imágenes y el audio también consumen ventana de contexto y añaden coste. Comprueba qué acepta realmente cada modelo en el directorio de modelos.
Términos relacionados
- Modelo de visión y lenguaje
- Un modelo de visión y lenguaje (VLM, vision-language model) es un modelo que recibe imágenes y texto como entrada y produce texto, de modo que puede describir imágenes, responder preguntas sobre ellas, leer documentos y extraer datos de capturas de pantalla.
- Modelo de lenguaje grande
- Un modelo de lenguaje grande (LLM, large language model) es una red neuronal con miles de millones de parámetros, entrenada con grandes cantidades de texto para predecir el siguiente token, lo que le permite redactar, responder preguntas, resumir y seguir instrucciones.
- Modelo fundacional
- Un modelo fundacional (foundation model) es un modelo grande entrenado con datos amplios a gran escala que se puede adaptar a muchas tareas posteriores distintas, mediante prompts o fine-tuning, en lugar de construirse para una sola tarea.
- Modelo speech-to-speech
- Un modelo speech-to-speech (de voz a voz) recibe audio hablado y produce audio hablado directamente, sin convertir antes la voz en texto y de vuelta. Se usa para conversación por voz en directo y para traducción.
- Text-to-image
- El text-to-image (texto a imagen) es la tarea de generar una imagen nueva a partir de una descripción escrita, llamada prompt. La mayoría de los modelos text-to-image actuales son modelos de difusión condicionados por el texto.