O que é Molmo2-8B?
O Allen Institute for AI (Ai2) lançou o Molmo2 em 11 de dezembro de 2025, em versões de 4B e 8B baseadas no Qwen3 e uma de 7B baseada no Olmo, o modelo próprio da Ai2. O de 8B usa o Qwen3-8B com um codificador visual SigLIP 2, responde perguntas sobre imagens, várias imagens ou vídeo, e consegue apontar e acompanhar objetos ao longo dos quadros.
Os pesos estão sob Apache 2.0, e a Ai2 publicou os nove novos conjuntos de dados por trás dele, mais de 9 milhões de exemplos, nenhum gerado por modelos fechados; alguns têm licença só para pesquisa não comercial. O código de treino completo veio em março de 2026. A Ai2 descreve o modelo como voltado a pesquisa e educação. Ele continua sendo o modelo mais recente da linha Molmo.
Molmo2-8B vale a pena?
Pelos testes da Ai2, o Molmo2-8B é o modelo aberto mais forte para ancorar respostas em vídeo: apontar um objeto, contá-lo e acompanhá-lo entre quadros. No artigo da Ai2, ele supera o Gemini 3 Pro em apontamento em vídeo, 38,4 contra 20,0 de F1, e em rastreamento, 56,2 contra 41,1 de J&F, e fica à frente do Qwen3-VL em contagem em vídeo, 35,5 contra 29,6. O artigo observa que até os modelos fechados geralmente não têm esse tipo de ancoragem.
Ele também é incomumente aberto. A Ai2 publicou os conjuntos de dados, o código e o modelo base da variante Olmo de 7B, e treinou com menos de um oitavo do vídeo que a Meta usou no PerceptionLM, 9,19 milhões de vídeos contra 72,5 milhões. Para uma equipe que precisa explicar de onde vêm as capacidades de um modelo, isso pesa tanto quanto as pontuações.
Os limites estão no raciocínio e na duração. A Ai2 admite que ele fica um pouco atrás em benchmarks de raciocínio de pesos abertos, que sistemas fechados maiores mantêm vantagem clara em perguntas sobre vídeos longos, e ele amostra no máximo 128 quadros a até 2 quadros por segundo, então um clipe de dez minutos é visto como fotos soltas. O próprio blog da Ai2 diz que nenhum modelo, Molmo2 incluído, chega a 40% de precisão em ancoragem em vídeo.
Com cerca de 8,7 bilhões de parâmetros, cabe numa GPU de 24GB em BF16. Está envelhecendo: o modelo tem quase um ano e teve 44.427 downloads no último mês, bem abaixo de modelos gerais mais novos como o Qwen 3.8, que agora também leem vídeo.
Onde ele se destaca
Uma start-up de análise esportiva
Contar e acompanhar jogadores ou a bola em clipes curtos de transmissão
Peça que aponte ou acompanhe objetos pelo nome e leia as coordenadas por quadro. Uma GPU de 24GB dá conta; clipes com mais de 128 quadros amostrados precisam ser divididos antes.
Uma equipe de robótica de armazém
Dizer a um robô onde, na imagem da câmera, está o item citado numa instrução
A saída de apontamento do Molmo2 dá coordenadas em pixels que o controlador pode usar. Verifique as licenças dos dados antes de uso comercial, porque alguns conjuntos de treino são não comerciais.
Um laboratório acadêmico que estuda como VLMs aprendem com dados
Retreinar um modelo de vídeo do zero e mudar a mistura de dados
Os conjuntos de dados, o código e a variante totalmente aberta Molmo2-O 7B tornam isso possível sem engenharia reversa, algo que poucos modelos rivais permitem.
Antes de decidir
- Configuração
- Instale transformers 4.57.1, torch, decord2 e molmo_utils e carregue com AutoModelForImageTextToText e trust_remote_code; os exemplos da Ai2 cobrem perguntas sobre vídeo, apontamento e rastreamento.
- Integrações
- Hugging Face Transformers com código remoto, Ai2 Playground, o código de treino aberto allenai/molmo2; nenhuma API hospedada paga listada no OpenRouter.
- Dados e privacidade
- Pesos Apache 2.0; com hospedagem própria, o vídeo fica local. Alguns conjuntos de treino são só para pesquisa não comercial, e a Ai2 diz que o modelo é voltado a pesquisa e educação.
- Custo em escala
- Só hospedagem própria: cerca de 17GB de pesos BF16, então uma GPU de 24GB por instância.
- Limites
- Até 128 quadros a 2 fps ou menos por clipe; atrás de modelos fechados maiores em vídeo longo; mais fraco em benchmarks de raciocínio; nenhum Molmo3 anunciado.
O que é bom
- Aponta e acompanha objetos em vídeo; 56,2 de J&F em rastreamento contra 41,1 do Gemini 3 Pro
- Pesos Apache 2.0 com conjuntos de dados e código de treino publicados
- Cabe numa GPU de 24GB
- Treinado sem dados gerados por modelos fechados
O que não é
- Fica atrás em benchmarks de raciocínio e perguntas sobre vídeos longos
- No máximo 128 quadros por clipe
- Alguns conjuntos de treino são não comerciais; a Ai2 o apresenta como modelo de pesquisa
- Sem API hospedada paga
Ideal para
Pesquisadores e equipes de robótica ou análise de vídeo que precisam de ancoragem em vídeo aberta e explicável, que possam retreinar.
Alternativas ao Molmo2-8B
Molmo2-8B: perguntas frequentes
- Molmo2-8B vale a pena?
- O Molmo2-8B é o modelo aberto a procurar quando você precisa saber onde algo está num vídeo, não só se aparece. Damos nota 3.9 de 5.
- Quanto custa Molmo2-8B?
- Pesos gratuitos sob Apache 2.0; alguns conjuntos de treino são não comerciais. Nenhuma API hospedada paga listada.
- Quais são as desvantagens de Molmo2-8B?
- Fica atrás em benchmarks de raciocínio e perguntas sobre vídeos longos; no máximo 128 quadros por clipe; alguns conjuntos de treino são não comerciais; a Ai2 o apresenta como modelo de pesquisa; sem API hospedada paga.
- Para quem Molmo2-8B é indicado?
- Pesquisadores e equipes de robótica ou análise de vídeo que precisam de ancoragem em vídeo aberta e explicável, que possam retreinar.
- Quanto custa Molmo2-8B para uma equipe ou em produção?
- Só hospedagem própria: cerca de 17GB de pesos BF16, então uma GPU de 24GB por instância.
- Molmo2-8B é seguro para dados da empresa?
- Pesos Apache 2.0; com hospedagem própria, o vídeo fica local. Alguns conjuntos de treino são só para pesquisa não comercial, e a Ai2 diz que o modelo é voltado a pesquisa e educação.
- Quais são as melhores alternativas ao Molmo2-8B?
- As alternativas mais próximas que analisamos são SAM 3 (Segment Anything Model 3), LocateAnything-3B, MiniCPM-V 4.7 (35B-A3B and 1B) e Qwen3.8-27B.
Respostas verificadas em 7 de nov. de 2026.