Qu’est-ce que LocateAnything-3B ?
NVIDIA a publié LocateAnything-3B le 26 mai 2026 dans sa famille de modèles vision-langage Eagle. Vous lui donnez une image et une expression, comme "chaque chariot élévateur" ou "le bouton Enregistrer", et il renvoie des boîtes englobantes ou des points. Il couvre la détection d’objets à vocabulaire ouvert, les expressions référentielles, les scènes encombrées, les éléments d’interface, la mise en page de documents et la localisation de texte.
Il associe l’encodeur visuel MoonViT-SO-400M de Moonshot à Qwen2.5-3B-Instruct. Son idée centrale, le Parallel Box Decoding, prédit les quatre coordonnées de chaque boîte en une seule étape au lieu de jeton par jeton. Il a été entraîné sur 12 millions d’images, environ 138 millions de requêtes et 785 millions de boîtes. NVIDIA indique que ce travail a aussi nourri Nemotron 3 Nano Omni et Cosmos.
Les poids sont sous NVIDIA License, réservée à la recherche académique et non lucrative ; l’usage commercial n’est pas autorisé.
LocateAnything-3B vaut-il le coup ?
LocateAnything-3B est le plus rapide des modèles ouverts de localisation auxquels NVIDIA le compare, et sa vitesse vient d’un vrai changement de conception, pas de poids plus petits. Sur une H100, NVIDIA mesure 12,7 boîtes par seconde contre 5,0 pour Rex-Omni et 1,1 pour Qwen3-VL, les écarts de 2,5x et 10x mis en avant. L’avantage augmente avec la densité, de 2x à 6x quand le nombre d’objets passe de 20 à 300.
La précision suit aussi, selon les tests de NVIDIA. Il obtient 60,3 de F1 moyen sur ScreenSpot-Pro, un benchmark qui consiste à trouver des boutons sur des écrans de logiciels professionnels, et bat Rex-Omni sur LVIS au seuil de recouvrement le plus strict, 31,1 contre 20,7. En mise en page de documents, il devance de 6,1 points sur DocLayNet et de 14,5 sur M6Doc. Aucun classement indépendant n’a encore reproduit ces résultats.
La licence tranche la plupart des cas. NVIDIA n’autorise que la recherche académique et non lucrative, et le modèle de langage intégré porte en plus la licence de recherche de Qwen. Une start-up de robotique ou un prestataire d’annotation peut le tester mais pas l’intégrer à un produit ; SAM 3 de Meta, qui trouve aussi des objets à partir de texte, autorise l’usage commercial sous sa propre licence.
Le faire tourner est simple pour un modèle de 3B. Le test de NVIDIA sur une scène de rue en 4K sur une A100 a pris environ 8 secondes pour un lot de quatre avec 11,71GB de mémoire maximale grâce à son backend FlashAttention, contre 35,12GB en attention standard. Il fonctionne avec Transformers et du code distant sous Linux ; TensorRT et Triton ne sont pas encore pris en charge. Il a été téléchargé 204 296 fois le mois dernier.
Là où il fait la différence
Un laboratoire universitaire de robotique
Trouver les objets nommés dans une consigne, comme "la tasse rouge à gauche de l’évier", assez vite pour la boucle d’un robot
Utilisez le mode Hybrid sur un GPU de station de travail. Avec environ 12 boîtes par seconde sur une H100, il suit les scènes encombrées, et la recherche est précisément ce que permet la licence.
Une association qui conçoit un agent d’accessibilité pour logiciels de bureau
Trouver le bon bouton ou champ à l’écran à partir d’une demande orale
Ses 60,3 de F1 moyen sur ScreenSpot-Pro justifient l’essai ; associez-le à un modèle de langage qui décide où cliquer. En faire un produit payant demanderait un autre modèle.
Un doctorant en vision par ordinateur
Annoter automatiquement un nouveau jeu de détection avant relecture humaine
L’inférence par lots avec le backend la_flash traite des images 4K dans environ 12GB. Les annotations servent la recherche ; un service d’annotation commercial ne pourrait pas les utiliser sous cette licence.
Avant de vous engager
- Mise en route
- Installez avec pip les paquets aux versions fixées (transformers 4.57.1 et autres), chargez avec trust_remote_code et utilisez generation_mode "hybrid" avec max_new_tokens 8192 ; MagiAttention l’accélère sur GPU Hopper et Blackwell.
- Intégrations
- Hugging Face Transformers avec code distant, un script d’inférence par lots, la démo de NVIDIA dans un Space Hugging Face. TensorRT, TensorRT-LLM et Triton pas encore pris en charge.
- Données et confidentialité
- En auto-hébergement, les images restent en local. NVIDIA License : recherche académique et non lucrative uniquement, pas d’usage commercial ; construit sur Qwen2.5-3B-Instruct sous Qwen Research License et MoonViT sous MIT.
- Coût à grande échelle
- Gratuit pour la recherche ; tient sur un GPU de 24GB ou plus. Le déploiement commercial n’est licencié à aucun prix publié par NVIDIA.
- Limites
- Images jusqu’à environ 2,5K en production, prompts jusqu’à 24K jetons, jusqu’à 8 192 nouveaux jetons par réponse ; Linux uniquement ; chiffres de benchmark autodéclarés.
Les points forts
- 12,7 boîtes par seconde sur une H100, 2,5 fois Rex-Omni
- 60,3 de F1 moyen sur ScreenSpot-Pro pour la localisation d’éléments d’interface
- Boîtes et points pour objets, texte, mise en page et éléments d’écran dans un seul modèle
- Environ 12GB de mémoire maximale sur une image 4K avec FlashAttention
Les points faibles
- Recherche académique et non lucrative uniquement ; pas d’usage commercial
- Benchmarks publiés par NVIDIA, non reproduits de façon indépendante
- Linux et Transformers uniquement ; pas de TensorRT ni de Triton
- Renvoie des boîtes et des points, pas des masques
Idéal pour
Les laboratoires universitaires et associatifs qui ont besoin, pour la recherche, d’une détection rapide à vocabulaire ouvert ou d’une localisation d’éléments d’interface.
Alternatives à LocateAnything-3B
LocateAnything-3B : questions fréquentes
- LocateAnything-3B vaut-il le coup ?
- LocateAnything-3B trouve les choses dans les images plus vite que les modèles ouverts auxquels NVIDIA l’a comparé, et NVIDIA ne vous laisse pas le mettre en production. Nous lui donnons 3.8 sur 5.
- Combien coûte LocateAnything-3B ?
- Poids gratuits pour la recherche académique et non lucrative ; usage commercial non autorisé. Pas d’API hébergée.
- Quels sont les inconvénients de LocateAnything-3B ?
- Recherche académique et non lucrative uniquement ; pas d’usage commercial; benchmarks publiés par NVIDIA, non reproduits de façon indépendante; linux et Transformers uniquement ; pas de TensorRT ni de Triton; renvoie des boîtes et des points, pas des masques.
- À qui s’adresse LocateAnything-3B ?
- Les laboratoires universitaires et associatifs qui ont besoin, pour la recherche, d’une détection rapide à vocabulaire ouvert ou d’une localisation d’éléments d’interface.
- Combien coûte LocateAnything-3B pour une équipe ou en production ?
- Gratuit pour la recherche ; tient sur un GPU de 24GB ou plus. Le déploiement commercial n’est licencié à aucun prix publié par NVIDIA.
- LocateAnything-3B est-il sûr pour les données de l’entreprise ?
- En auto-hébergement, les images restent en local. NVIDIA License : recherche académique et non lucrative uniquement, pas d’usage commercial ; construit sur Qwen2.5-3B-Instruct sous Qwen Research License et MoonViT sous MIT.
- Quelles sont les meilleures alternatives à LocateAnything-3B ?
- Les alternatives les plus proches que nous avons testées sont SAM 3 (Segment Anything Model 3), Nemotron 3.5 Super VL et MiniCPM-V 4.7 (35B-A3B and 1B).
Réponses vérifiées le 7 nov. 2026.