Modelo multimodal
Um modelo multimodal (multimodal model) é um modelo de IA que consegue receber, e às vezes produzir, mais de um tipo de dado, como texto, imagens, áudio ou vídeo, dentro de um único modelo em vez de sistemas separados.
Também chamado: multimodal AI
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Muitos modelos de ponta atuais são multimodais: você pode colar uma captura de tela, um gráfico ou uma página de PDF em um chat e fazer perguntas sobre ela. Alguns também produzem imagens ou fala.
Como funciona
Um design comum conecta um encoder pré-treinado para cada tipo extra de entrada a um modelo de linguagem grande. O encoder transforma uma imagem ou um trecho de áudio em vetores que o modelo de linguagem consegue ler junto com os tokens de texto. O Flamingo, da DeepMind, em 2022, mostrou isso ligando modelos pré-treinados só de visão e só de linguagem e treinando com dados da web em que imagens e texto se intercalam. Outros modelos são treinados em várias modalidades desde o início.
Multimodal vs visão e linguagem
Um vision-language model é o tipo mais comum de modelo multimodal e trabalha com imagens e texto. "Multimodal" é o termo mais amplo e também pode abranger áudio, como nos sistemas de speech-to-speech, ou vídeo.
Limites
O suporte varia bastante. Um modelo pode aceitar imagens mas não gerá-las, ou lidar com áudio só por um pipeline separado. Imagens e áudio também consomem a janela de contexto e aumentam o custo. Verifique o que cada modelo realmente aceita no diretório de modelos.
Termos relacionados
- Vision-language model
- Um vision-language model (VLM, modelo de visão e linguagem) é um modelo que recebe imagens e texto como entrada e produz texto, então consegue descrever imagens, responder perguntas sobre elas, ler documentos e extrair dados de capturas de tela.
- Grande modelo de linguagem
- Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
- Modelo de fundação
- Um modelo de fundação (foundation model) é um modelo grande treinado com dados amplos em escala, que pode ser adaptado a muitas tarefas diferentes, por prompting ou fine-tuning, em vez de ser construído para uma única tarefa.
- Modelo speech-to-speech
- Um modelo speech-to-speech (de fala para fala) recebe áudio falado e produz áudio falado diretamente, sem converter primeiro a fala em texto e de volta. Ele é usado em conversas por voz ao vivo e em tradução.
- Text-to-image
- Text-to-image (texto para imagem) é a tarefa de gerar uma nova imagem a partir de uma descrição escrita, chamada de prompt. A maioria dos modelos text-to-image atuais são modelos de difusão condicionados pelo texto.