Was ist LocateAnything-3B?
NVIDIA hat LocateAnything-3B am 26. Mai 2026 als Teil seiner Eagle-Familie von Vision-Language-Modellen veröffentlicht. Du gibst ein Bild und eine Phrase wie "jeder Gabelstapler" oder "der Speichern-Button" ein, und es liefert Bounding Boxes oder Punkte. Es deckt Objekterkennung mit offenem Vokabular, referenzierende Ausdrücke, volle Szenen, GUI-Elemente, Dokumentlayout und Textlokalisierung ab.
Es kombiniert Moonshots Vision-Encoder MoonViT-SO-400M mit Qwen2.5-3B-Instruct. Die Kernidee, Parallel Box Decoding, sagt die vier Koordinaten jeder Box in einem Schritt voraus statt Token für Token. Trainiert wurde es mit 12 Millionen Bildern, etwa 138 Millionen Anfragen und 785 Millionen Boxen. Laut NVIDIA ist die Arbeit auch in Nemotron 3 Nano Omni und Cosmos eingeflossen.
Die Gewichte stehen unter der NVIDIA License nur für akademische und gemeinnützige Forschung; kommerzielle Nutzung ist nicht erlaubt.
Lohnt sich LocateAnything-3B?
LocateAnything-3B ist das schnellste der offenen Grounding-Modelle, mit denen NVIDIA es vergleicht, und das Tempo kommt von einer echten Designänderung, nicht von kleineren Gewichten. Auf einer H100 misst NVIDIA 12,7 Boxen pro Sekunde gegenüber 5,0 bei Rex-Omni und 1,1 bei Qwen3-VL, die beworbenen Abstände von 2,5x und 10x. Der Vorsprung wächst mit der Dichte, von 2x auf 6x, wenn die Zahl der Objekte von 20 auf 300 steigt.
Auch die Genauigkeit hält mit, nach NVIDIAs eigenen Tests. Es erreicht 60,3 mittleren F1 auf ScreenSpot-Pro, einem Benchmark zum Finden von Buttons in professioneller Software, und schlägt Rex-Omni auf LVIS bei der strengsten Überlappungsschwelle mit 31,1 zu 20,7. Beim Dokumentlayout liegt es auf DocLayNet 6,1 Punkte vorn und auf M6Doc 14,5. Keine unabhängige Rangliste hat diese Ergebnisse bisher wiederholt.
Die Lizenz entscheidet die meisten Fälle. NVIDIA erlaubt nur akademische und gemeinnützige Forschung, und das enthaltene Sprachmodell trägt zusätzlich Qwens Forschungslizenz. Ein Robotik-Start-up oder ein Labeling-Dienstleister kann es testen, aber nicht in ein Produkt einbauen; Metas SAM 3, das ebenfalls Objekte aus Text findet, erlaubt kommerzielle Nutzung unter seiner eigenen Lizenz.
Der Betrieb ist für ein 3B-Modell einfach. NVIDIAs 4K-Straßenszenen-Test auf einer A100 dauerte etwa 8 Sekunden für einen Batch von vier bei 11,71GB Spitzenspeicher mit dem FlashAttention-Backend, gegenüber 35,12GB mit Standard-Attention. Es läuft über Transformers mit Remote-Code unter Linux; TensorRT und Triton werden noch nicht unterstützt. Im letzten Monat wurde es 204.296-mal heruntergeladen.
Wo es sich lohnt
Ein Robotiklabor an einer Universität
Objekte aus einer Anweisung wie "die rote Tasse links vom Spülbecken" schnell genug für die Roboterschleife finden
Nutze den Hybrid-Modus auf einer Workstation-GPU. Mit etwa 12 Boxen pro Sekunde auf einer H100 hält es mit vollen Szenen mit, und Forschung ist genau das, was die Lizenz erlaubt.
Eine gemeinnützige Organisation, die einen Barrierefreiheits-Agenten für Desktop-Software baut
Den richtigen Button oder das richtige Feld auf dem Bildschirm aus einer gesprochenen Anfrage finden
Der Grund zum Ausprobieren sind 60,3 mittlerer F1 auf ScreenSpot-Pro; kombiniere es mit einem Sprachmodell, das entscheidet, wohin geklickt wird. Für ein kostenpflichtiges Produkt bräuchte es ein anderes Modell.
Ein Doktorand in Computer Vision
Einen neuen Erkennungsdatensatz vor der menschlichen Prüfung automatisch labeln
Batch-Inferenz mit dem la_flash-Backend verarbeitet 4K-Bilder in etwa 12GB. Die Labels dienen der Forschung; ein kommerzieller Labeling-Dienst dürfte sie unter dieser Lizenz nicht nutzen.
Bevor du dich festlegst
- Einrichtung
- Die festgelegten Pakete (transformers 4.57.1 und andere) per pip installieren, mit trust_remote_code laden und generation_mode "hybrid" mit max_new_tokens 8192 nutzen; MagiAttention beschleunigt es auf Hopper- und Blackwell-GPUs.
- Integrationen
- Hugging Face Transformers mit Remote-Code, ein Skript für Batch-Inferenz, NVIDIAs Demo als Hugging Face Space. TensorRT, TensorRT-LLM und Triton noch nicht unterstützt.
- Daten und Datenschutz
- Selbst gehostet bleiben die Bilder lokal. NVIDIA License: nur akademische und gemeinnützige Forschung, keine kommerzielle Nutzung; aufgebaut auf Qwen2.5-3B-Instruct unter der Qwen Research License und MoonViT unter MIT.
- Kosten im großen Maßstab
- Für Forschung kostenlos; passt auf eine GPU mit 24GB oder mehr. Kommerzieller Einsatz ist zu keinem von NVIDIA veröffentlichten Preis lizenziert.
- Grenzen
- Bilder bis etwa 2,5K im Produktiveinsatz, Prompts bis 24K Tokens, bis zu 8.192 neue Tokens pro Antwort; nur Linux; Benchmark-Werte selbst berichtet.
Was gut ist
- 12,7 Boxen pro Sekunde auf einer H100, 2,5-mal Rex-Omni
- 60,3 mittlerer F1 auf ScreenSpot-Pro für GUI-Grounding
- Boxen und Punkte für Objekte, Text, Layout und Bildschirmelemente in einem Modell
- Etwa 12GB Spitzenspeicher bei einem 4K-Bild mit dem FlashAttention-Pfad
Was nicht
- Nur akademische und gemeinnützige Forschung; keine kommerzielle Nutzung
- Benchmarks stammen von NVIDIA selbst, nicht unabhängig wiederholt
- Nur Linux und Transformers; keine TensorRT- oder Triton-Unterstützung
- Liefert Boxen und Punkte, keine Masken
Am besten für
Universitäts- und gemeinnützige Labore, die schnelle Erkennung mit offenem Vokabular oder GUI-Grounding für die Forschung brauchen.
Alternativen zu LocateAnything-3B
LocateAnything-3B: häufige Fragen
- Lohnt sich LocateAnything-3B?
- LocateAnything-3B findet Dinge in Bildern schneller als die offenen Modelle, mit denen NVIDIA es verglichen hat, und NVIDIA lässt dich es nicht ausliefern. Wir bewerten es mit 3.8 von 5.
- Was kostet LocateAnything-3B?
- Gewichte kostenlos für akademische und gemeinnützige Forschung; kommerzielle Nutzung nicht erlaubt. Keine gehostete API.
- Welche Nachteile hat LocateAnything-3B?
- Nur akademische und gemeinnützige Forschung; keine kommerzielle Nutzung; Benchmarks stammen von NVIDIA selbst, nicht unabhängig wiederholt; Nur Linux und Transformers; keine TensorRT- oder Triton-Unterstützung; Liefert Boxen und Punkte, keine Masken.
- Für wen eignet sich LocateAnything-3B?
- Universitäts- und gemeinnützige Labore, die schnelle Erkennung mit offenem Vokabular oder GUI-Grounding für die Forschung brauchen.
- Was kostet LocateAnything-3B für ein Team oder im Produktivbetrieb?
- Für Forschung kostenlos; passt auf eine GPU mit 24GB oder mehr. Kommerzieller Einsatz ist zu keinem von NVIDIA veröffentlichten Preis lizenziert.
- Ist LocateAnything-3B sicher für Firmendaten?
- Selbst gehostet bleiben die Bilder lokal. NVIDIA License: nur akademische und gemeinnützige Forschung, keine kommerzielle Nutzung; aufgebaut auf Qwen2.5-3B-Instruct unter der Qwen Research License und MoonViT unter MIT.
- Was sind die besten Alternativen zu LocateAnything-3B?
- Die nächsten Alternativen, die wir getestet haben, sind SAM 3 (Segment Anything Model 3), Nemotron 3.5 Super VL und MiniCPM-V 4.7 (35B-A3B and 1B).
Antworten geprüft am 7. Nov. 2026.