Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Modelo multimodal

Um modelo multimodal (multimodal model) é um modelo de IA que consegue receber, e às vezes produzir, mais de um tipo de dado, como texto, imagens, áudio ou vídeo, dentro de um único modelo em vez de sistemas separados.

Também chamado: multimodal AI

Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos

Muitos modelos de ponta atuais são multimodais: você pode colar uma captura de tela, um gráfico ou uma página de PDF em um chat e fazer perguntas sobre ela. Alguns também produzem imagens ou fala.

Como funciona

Um design comum conecta um encoder pré-treinado para cada tipo extra de entrada a um modelo de linguagem grande. O encoder transforma uma imagem ou um trecho de áudio em vetores que o modelo de linguagem consegue ler junto com os tokens de texto. O Flamingo, da DeepMind, em 2022, mostrou isso ligando modelos pré-treinados só de visão e só de linguagem e treinando com dados da web em que imagens e texto se intercalam. Outros modelos são treinados em várias modalidades desde o início.

Multimodal vs visão e linguagem

Um vision-language model é o tipo mais comum de modelo multimodal e trabalha com imagens e texto. "Multimodal" é o termo mais amplo e também pode abranger áudio, como nos sistemas de speech-to-speech, ou vídeo.

Limites

O suporte varia bastante. Um modelo pode aceitar imagens mas não gerá-las, ou lidar com áudio só por um pipeline separado. Imagens e áudio também consomem a janela de contexto e aumentam o custo. Verifique o que cada modelo realmente aceita no diretório de modelos.

Termos relacionados

Vision-language model
Um vision-language model (VLM, modelo de visão e linguagem) é um modelo que recebe imagens e texto como entrada e produz texto, então consegue descrever imagens, responder perguntas sobre elas, ler documentos e extrair dados de capturas de tela.
Grande modelo de linguagem
Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
Modelo de fundação
Um modelo de fundação (foundation model) é um modelo grande treinado com dados amplos em escala, que pode ser adaptado a muitas tarefas diferentes, por prompting ou fine-tuning, em vez de ser construído para uma única tarefa.
Modelo speech-to-speech
Um modelo speech-to-speech (de fala para fala) recebe áudio falado e produz áudio falado diretamente, sem converter primeiro a fala em texto e de volta. Ele é usado em conversas por voz ao vivo e em tradução.
Text-to-image
Text-to-image (texto para imagem) é a tarefa de gerar uma nova imagem a partir de uma descrição escrita, chamada de prompt. A maioria dos modelos text-to-image atuais são modelos de difusão condicionados pelo texto.

Fontes