O que é Nemotron ColEmbed V2?
O Nemotron ColEmbed V2 é uma família de modelos de recuperação visual de documentos da NVIDIA, lançada em janeiro de 2026 nos tamanhos 3B, 4B e 8B. Você indexa cada página do documento como imagem, sem OCR nem análise de layout, e faz a busca com uma pergunta em texto. O modelo de 8B é construído sobre o Qwen3-VL-8B-Instruct e tem cerca de 8,8 bilhões de parâmetros; o de 3B é construído sobre o Llama 3.2.
É um modelo de late interaction no estilo ColBERT e ColPali: em vez de um vetor por página, ele produz um vetor de 4.096 dimensões para cada token e pontua uma correspondência comparando cada token da consulta com o token da página que mais combina com ele. As imagens são divididas em até oito blocos de 512 por 512 mais uma miniatura, a 256 tokens por bloco.
Nenhum dos tamanhos pode ser usado comercialmente. O 4B e o 8B estão sob CC BY-NC 4.0; o 3B usa a licença não comercial própria da NVIDIA, que limita o uso a pesquisa e educação.
Nemotron ColEmbed V2 vale a pena?
O Nemotron ColEmbed V2 é um modelo de pesquisa com precisão de nível de produção e uma licença que o mantém fora da produção. O card da NVIDIA informa um NDCG@10 médio de 63,54 no ViDoRe v3 para o 8B, primeiro nesse benchmark quando foi publicado, em 26 de janeiro de 2026, além de 92,65 no ViDoRe v1 e 65,16 no v2, onde ficou em terceiro, atrás do ColQwen3 8B da Tomoro. O 4B marca 61,42 no v3 e o 3B 59,70. São números da NVIDIA, produzidos com o harness público do MTEB, então podem ser reproduzidos, mas o ranking mudou desde janeiro.
O armazenamento é a conta que chega depois. O 8B emite um vetor de 4.096 dimensões para cada token, e uma página pode usar nove blocos de 256 tokens. Pela nossa conta a partir dos números do card, isso dá até cerca de 19 MB por página em BF16, ou aproximadamente 19 TB para um milhão de páginas antes de qualquer pooling ou quantização. O ColQwen3 8B da Tomoro, com licença Apache, usa 320 dimensões e no máximo 1.280 tokens por página, o que o seu card estima em cerca de 0,82 TB por milhão de imagens. A etapa de pontuação também exige um banco vetorial com suporte a múltiplos vetores (MaxSim), o que exclui muitas configurações de vetor único.
A licença fecha a porta comercial em todos os tamanhos. O 4B e o 8B são CC BY-NC 4.0, e o 3B, construído sobre o Llama 3.2, fica sob a licença não comercial própria da NVIDIA, que restringe o uso a 'fins não comerciais de pesquisa e educação' e reserva o uso comercial à própria NVIDIA. O card não lista contêiner NIM nem endpoint hospedado, e nenhum provedor de inferência do Hugging Face o serve.
Rodá-lo também é um caminho estreito: só Linux, testado em placas A100 e H100, flash-attn fixado na versão 2.6.3 e código remoto habilitado. Os pesos do 8B têm cerca de 17,5 GB. Para uma equipe que se pergunta se OCR mais um embedder de texto basta para um acervo de digitalizações, ele é um teto útil para comparar, e a variação por tarefa no card, de 79,30 em páginas de ciência da computação a 50,84 em física, mostra que a resposta vai depender muito dos documentos.
Onde ele se destaca
Um pesquisador de recuperação de informação em um laboratório universitário
Comparar um novo recuperador visual com uma base aberta forte
Carregue o 8B no Transformers e rode o mteb 2.7 ou posterior no ViDoRe v3; as pontuações por tarefa da NVIDIA dão um alvo reproduzível. O uso acadêmico é exatamente o que a licença CC BY-NC permite.
Um engenheiro de ML em uma seguradora com milhões de formulários de sinistro digitalizados
Decidir se vale manter o pipeline de OCR
Indexe alguns milhares de páginas de amostra com o 8B como teto de precisão e compare com OCR mais um embedder de texto. A licença impede implantá-lo, então o resultado orienta a escolha entre OCR e um modelo ColQwen com licença Apache.
Um líder de plataforma de dados que dimensiona um índice de múltiplos vetores
Estimar o armazenamento antes de se comprometer com late interaction
Com até 2.304 tokens de 4.096 valores BF16 por página, um acervo de 100.000 páginas precisa de até cerca de 1,9 TB de vetores, contra cerca de 82 GB para o ColQwen3 de 320 dimensões da Tomoro pela mesma conta. Essa diferença costuma decidir a arquitetura antes da precisão.
Antes de decidir
- Configuração
- Instale o transformers 4.57.2 ou posterior e o flash-attn 2.6.3 e carregue com trust_remote_code em bfloat16. A NVIDIA só testa em Linux com A100 de 40GB ou 80GB e H100 de 80GB; as imagens entram como objetos PIL.
- Integrações
- Transformers e o harness de avaliação MTEB. Nenhum NIM, API hospedada ou provedor de inferência do Hugging Face está listado, e a recuperação exige um banco vetorial com pontuação de múltiplos vetores (MaxSim).
- Dados e privacidade
- Self-hosting, então os documentos ficam no seu hardware. O 4B e o 8B são CC BY-NC 4.0 e o 3B está sob a Non-Commercial License da NVIDIA; ambas proíbem uso comercial, e o 3B também herda a licença do Llama 3.2.
- Custo em escala
- Não há nível pago. O custo é o tempo de GPU para indexar mais o armazenamento: pela nossa conta, até cerca de 19 MB por página sem compressão, aproximadamente 19 TB por milhão de páginas, contra cerca de 0,82 TB por milhão para o ColQwen3 8B da Tomoro segundo o seu card.
- Limites
- Avaliado com até 10.240 tokens; até oito blocos mais uma miniatura por imagem. Os links de modelos do card são inconsistentes e o link do 4B nas tabelas está quebrado.
O que é bom
- Média de 63,54 no ViDoRe v3 para o 8B, segundo a NVIDIA
- Indexa imagens de páginas diretamente, sem OCR nem análise de layout
- Tamanhos 3B, 4B e 8B para trocar precisão por custo
O que não é
- Licença não comercial nos três tamanhos
- 4.096 dimensões por token: até cerca de 19 MB por página sem compressão
- Só Linux, A100 ou H100 e flash-attn fixado em 2.6.3
- Nenhum endpoint hospedado ou NIM listado
Ideal para
Pesquisadores e equipes de avaliação que precisam de uma base aberta forte para recuperação visual de documentos e não pretendem colocá-la em produção.
Alternativas ao Nemotron ColEmbed V2
Nemotron ColEmbed V2: perguntas frequentes
- Nemotron ColEmbed V2 vale a pena?
- Preciso o bastante para ser a referência em busca por imagens de páginas, e licenciado de tal forma que referência é tudo o que a maioria das empresas pode fazer dele. Damos nota 3.8 de 5.
- Quanto custa Nemotron ColEmbed V2?
- Pesos gratuitos para uso não comercial e de pesquisa (CC BY-NC 4.0).
- Quais são as desvantagens de Nemotron ColEmbed V2?
- Licença não comercial nos três tamanhos; 4.096 dimensões por token: até cerca de 19 MB por página sem compressão; só Linux, A100 ou H100 e flash-attn fixado em 2.6.3; nenhum endpoint hospedado ou NIM listado.
- Para quem Nemotron ColEmbed V2 é indicado?
- Pesquisadores e equipes de avaliação que precisam de uma base aberta forte para recuperação visual de documentos e não pretendem colocá-la em produção.
- Quanto custa Nemotron ColEmbed V2 para uma equipe ou em produção?
- Não há nível pago. O custo é o tempo de GPU para indexar mais o armazenamento: pela nossa conta, até cerca de 19 MB por página sem compressão, aproximadamente 19 TB por milhão de páginas, contra cerca de 0,82 TB por milhão para o ColQwen3 8B da Tomoro segundo o seu card.
- Nemotron ColEmbed V2 é seguro para dados da empresa?
- Self-hosting, então os documentos ficam no seu hardware. O 4B e o 8B são CC BY-NC 4.0 e o 3B está sob a Non-Commercial License da NVIDIA; ambas proíbem uso comercial, e o 3B também herda a licença do Llama 3.2.
- Quais são as melhores alternativas ao Nemotron ColEmbed V2?
- As alternativas mais próximas que analisamos são Qwen3-VL-Embedding, Cohere Embed 5 e Jina Embeddings v5.
Respostas verificadas em 22 de out. de 2026.