O que é LocateAnything-3B?
A NVIDIA publicou o LocateAnything-3B em 26 de maio de 2026 como parte da sua família de visão e linguagem Eagle. Você dá uma imagem e uma frase, como "cada empilhadeira" ou "o botão Salvar", e ele devolve caixas delimitadoras ou pontos. Cobre detecção de objetos de vocabulário aberto, expressões referenciais, cenas lotadas, elementos de interface, layout de documentos e localização de texto.
Ele combina o codificador visual MoonViT-SO-400M, da Moonshot, com o Qwen2.5-3B-Instruct. A ideia central, o Parallel Box Decoding, prevê as quatro coordenadas de cada caixa num único passo em vez de token por token. Foi treinado com 12 milhões de imagens, cerca de 138 milhões de consultas e 785 milhões de caixas. A NVIDIA diz que o trabalho também entrou no Nemotron 3 Nano Omni e no Cosmos.
Os pesos usam a NVIDIA License apenas para pesquisa acadêmica e sem fins lucrativos; uso comercial não é permitido.
LocateAnything-3B vale a pena?
O LocateAnything-3B é o mais rápido dos modelos abertos de grounding com que a NVIDIA o compara, e a velocidade vem de uma mudança real de projeto, não de pesos menores. Numa H100, a NVIDIA mede 12,7 caixas por segundo contra 5,0 do Rex-Omni e 1,1 do Qwen3-VL, as diferenças de 2,5x e 10x que anuncia. A vantagem cresce com a densidade, de 2x para 6x quando o número de objetos sobe de 20 para 300.
A precisão também se sustenta, nos testes da própria NVIDIA. Ele marca 60,3 de F1 médio no ScreenSpot-Pro, um benchmark de encontrar botões em telas de software profissional, e supera o Rex-Omni no LVIS no limite de sobreposição mais rígido, 31,1 contra 20,7. Em layout de documentos, fica 6,1 pontos à frente no DocLayNet e 14,5 no M6Doc. Nenhum ranking independente repetiu esses resultados ainda.
A licença decide a maioria dos casos. A NVIDIA só permite pesquisa acadêmica e sem fins lucrativos, e o modelo de linguagem interno ainda carrega a licença de pesquisa do Qwen. Uma start-up de robótica ou um fornecedor de rotulagem pode testá-lo, mas não colocá-lo num produto; o SAM 3 da Meta, que também encontra objetos a partir de texto, permite uso comercial sob a sua própria licença.
Rodá-lo é fácil para um modelo de 3B. O teste da NVIDIA com uma cena de rua em 4K numa A100 levou cerca de 8 segundos para um lote de quatro, com 11,71GB de memória de pico usando o backend FlashAttention, contra 35,12GB com atenção padrão. Roda via Transformers com código remoto no Linux; TensorRT e Triton ainda não são suportados. Teve 204.296 downloads no último mês.
Onde ele se destaca
Um laboratório universitário de robótica
Encontrar objetos citados numa instrução, como "a caneca vermelha à esquerda da pia", rápido o bastante para o loop de um robô
Use o modo Hybrid numa GPU de estação de trabalho. Com cerca de 12 caixas por segundo numa H100, ele acompanha cenas lotadas, e pesquisa é exatamente o que a licença permite.
Uma organização sem fins lucrativos que cria um agente de acessibilidade para software de desktop
Localizar o botão ou campo certo na tela a partir de um pedido falado
Os 60,3 de F1 médio no ScreenSpot-Pro são o motivo para testar; combine com um modelo de linguagem que decida onde clicar. Transformá-lo em produto pago exigiria outro modelo.
Um doutorando em visão computacional
Rotular automaticamente um novo conjunto de detecção antes da revisão humana
A inferência em lote com o backend la_flash processa imagens 4K em cerca de 12GB. Os rótulos servem à pesquisa; um serviço comercial de rotulagem não poderia usá-los sob essa licença.
Antes de decidir
- Configuração
- Instale via pip os pacotes com versão fixa (transformers 4.57.1 e outros), carregue com trust_remote_code e use generation_mode "hybrid" com max_new_tokens 8192; o MagiAttention acelera em GPUs Hopper e Blackwell.
- Integrações
- Hugging Face Transformers com código remoto, um script de inferência em lote, a demo da NVIDIA num Space do Hugging Face. TensorRT, TensorRT-LLM e Triton ainda não suportados.
- Dados e privacidade
- Com hospedagem própria, as imagens ficam locais. NVIDIA License: só pesquisa acadêmica e sem fins lucrativos, sem uso comercial; construído sobre o Qwen2.5-3B-Instruct sob a Qwen Research License e o MoonViT sob MIT.
- Custo em escala
- Gratuito para pesquisa; cabe numa GPU de 24GB ou mais. O uso comercial não é licenciado a nenhum preço publicado pela NVIDIA.
- Limites
- Imagens de até cerca de 2,5K em produção, prompts de até 24K tokens, até 8.192 tokens novos por resposta; só Linux; números de benchmark autodeclarados.
O que é bom
- 12,7 caixas por segundo numa H100, 2,5 vezes o Rex-Omni
- 60,3 de F1 médio no ScreenSpot-Pro para grounding de interface
- Caixas e pontos para objetos, texto, layout e elementos de tela num só modelo
- Cerca de 12GB de memória de pico numa imagem 4K com FlashAttention
O que não é
- Só pesquisa acadêmica e sem fins lucrativos; sem uso comercial
- Benchmarks da própria NVIDIA, não repetidos de forma independente
- Só Linux e Transformers; sem suporte a TensorRT ou Triton
- Devolve caixas e pontos, não máscaras
Ideal para
Laboratórios universitários e sem fins lucrativos que precisam de detecção rápida de vocabulário aberto ou grounding de interface para pesquisa.
Alternativas ao LocateAnything-3B
LocateAnything-3B: perguntas frequentes
- LocateAnything-3B vale a pena?
- O LocateAnything-3B acha coisas em imagens mais rápido que os modelos abertos com que a NVIDIA o comparou, e a NVIDIA não deixa você colocá-lo em produção. Damos nota 3.8 de 5.
- Quanto custa LocateAnything-3B?
- Pesos gratuitos para pesquisa acadêmica e sem fins lucrativos; uso comercial não permitido. Sem API hospedada.
- Quais são as desvantagens de LocateAnything-3B?
- Só pesquisa acadêmica e sem fins lucrativos; sem uso comercial; benchmarks da própria NVIDIA, não repetidos de forma independente; só Linux e Transformers; sem suporte a TensorRT ou Triton; devolve caixas e pontos, não máscaras.
- Para quem LocateAnything-3B é indicado?
- Laboratórios universitários e sem fins lucrativos que precisam de detecção rápida de vocabulário aberto ou grounding de interface para pesquisa.
- Quanto custa LocateAnything-3B para uma equipe ou em produção?
- Gratuito para pesquisa; cabe numa GPU de 24GB ou mais. O uso comercial não é licenciado a nenhum preço publicado pela NVIDIA.
- LocateAnything-3B é seguro para dados da empresa?
- Com hospedagem própria, as imagens ficam locais. NVIDIA License: só pesquisa acadêmica e sem fins lucrativos, sem uso comercial; construído sobre o Qwen2.5-3B-Instruct sob a Qwen Research License e o MoonViT sob MIT.
- Quais são as melhores alternativas ao LocateAnything-3B?
- As alternativas mais próximas que analisamos são SAM 3 (Segment Anything Model 3), Nemotron 3.5 Super VL e MiniCPM-V 4.7 (35B-A3B and 1B).
Respostas verificadas em 7 de nov. de 2026.