LocateAnything-3B의 개요
LocateAnything-3B는 NVIDIA가 2026년 5월 26일 시각 언어 모델 Eagle 제품군의 일부로 공개했습니다. 이미지와 함께 "모든 지게차"나 "저장 버튼" 같은 문구를 주면 바운딩 박스나 점을 돌려줍니다. 오픈 어휘 객체 탐지, 지칭 표현, 붐비는 장면, GUI 요소, 문서 레이아웃, 텍스트 위치 찾기를 다룹니다.
Moonshot의 시각 인코더 MoonViT-SO-400M과 Qwen2.5-3B-Instruct를 결합했습니다. 핵심 아이디어인 Parallel Box Decoding은 각 박스의 네 좌표를 토큰 하나씩이 아니라 한 단계에 예측합니다. 1,200만(12 million) 장의 이미지, 약 1억 3,800만(138 million) 개의 질의, 7억 8,500만(785 million) 개의 박스로 학습했습니다. NVIDIA는 이 작업이 Nemotron 3 Nano Omni와 Cosmos에도 반영됐다고 밝힙니다.
가중치는 학술 및 비영리 연구 전용인 NVIDIA License를 따르며 상업적 사용은 허용되지 않습니다.
LocateAnything-3B, 쓸 만한 가치가 있습니까?
LocateAnything-3B는 NVIDIA가 비교한 오픈 그라운딩 모델 중 가장 빠르며, 그 속도는 가중치를 줄여서가 아니라 실제 설계 변경에서 나옵니다. H100 한 장에서 NVIDIA는 초당 12.7개 박스를 측정했고, Rex-Omni는 5.0, Qwen3-VL은 1.1이었습니다. 이것이 홍보하는 2.5x와 10x 차이입니다. 대상 수가 20개에서 300개로 늘면 격차는 2x에서 6x로 커집니다.
NVIDIA 자체 테스트에서는 정확도도 유지됩니다. 전문 소프트웨어 화면에서 버튼을 찾는 벤치마크 ScreenSpot-Pro에서 평균 F1 60.3을 기록했고, LVIS에서는 가장 엄격한 겹침 기준에서 Rex-Omni를 31.1 대 20.7로 앞섭니다. 문서 레이아웃에서는 DocLayNet에서 6.1점, M6Doc에서 14.5 점 앞섭니다. 아직 독립적인 순위표가 이 결과를 재현하지는 않았습니다.
대부분의 경우 라이선스가 결정합니다. NVIDIA는 학술 및 비영리 연구만 허용하며, 내부 언어 모델에는 Qwen의 연구 라이선스도 붙어 있습니다. 로보틱스 스타트업이나 라벨링 업체는 평가는 할 수 있어도 제품에 넣을 수는 없습니다. 텍스트로 객체를 찾는 Meta의 SAM 3는 자체 라이선스로 상업적 사용을 허용합니다.
3B 모델이라 실행은 쉽습니다. A100에서 4K 거리 장면으로 한 NVIDIA 테스트는 4장 배치에 약 8초가 걸렸고, FlashAttention 백엔드에서 최대 메모리는 11.71GB, 표준 어텐션에서는 35.12GB였습니다. Linux에서 Transformers와 원격 코드로 실행되며 TensorRT와 Triton은 아직 지원하지 않습니다. 지난달 다운로드는 204,296회입니다.
제 역할을 하는 곳
대학 로보틱스 연구실
"싱크대 왼쪽의 빨간 머그" 같은 지시 속 대상을 로봇 제어 루프에 맞출 만큼 빠르게 찾기
워크스테이션 GPU 한 장에서 Hybrid 모드를 씁니다. H100에서 초당 약 12개 박스라 붐비는 장면도 따라가며, 연구는 라이선스가 허용하는 바로 그 용도입니다.
데스크톱 소프트웨어용 접근성 에이전트를 만드는 비영리 단체
음성 요청으로 화면의 올바른 버튼이나 입력란 찾기
ScreenSpot-Pro 평균 F1 60.3이 시도할 이유입니다. 어디를 클릭할지 정하는 언어 모델과 함께 씁니다. 유료 제품으로 만들려면 다른 모델이 필요합니다.
컴퓨터 비전 박사과정 학생
사람이 검토하기 전에 새 탐지 데이터셋을 자동 라벨링
la_flash 백엔드의 배치 추론은 4K 이미지를 약 12GB로 처리합니다. 라벨은 연구에 쓸 수 있지만, 상업적 라벨링 서비스는 이 라이선스로 쓸 수 없습니다.
도입 전 확인할 점
- 설정
- 고정 버전 패키지(transformers 4.57.1 등)를 pip로 설치하고 trust_remote_code로 불러온 뒤 generation_mode "hybrid"와 max_new_tokens 8192를 씁니다. Hopper와 Blackwell GPU에서는 MagiAttention으로 빨라집니다.
- 연동
- 원격 코드를 쓰는 Hugging Face Transformers, 배치 추론 스크립트, Hugging Face Space의 NVIDIA 데모. TensorRT, TensorRT-LLM, Triton은 아직 미지원.
- 데이터와 개인정보
- 셀프 호스팅이라 이미지는 로컬에 남습니다. NVIDIA License: 학술 및 비영리 연구 전용, 상업적 사용 불가. Qwen Research License의 Qwen2.5-3B-Instruct와 MIT의 MoonViT를 기반으로 합니다.
- 대규모 사용 시 비용
- 연구용으로 무료이며 24GB 이상 GPU 한 장에 들어갑니다. 상업적 배포는 NVIDIA가 공개한 어떤 가격으로도 라이선스되지 않습니다.
- 제한
- 프로덕션 사용 시 이미지 약 2.5K까지, 프롬프트 24K 토큰까지, 답변당 새 토큰 8,192개까지. Linux 전용. 벤치마크 수치는 자체 보고.
좋은 점
- H100 한 장에서 초당 12.7개 박스, Rex-Omni의 2.5배
- GUI 그라운딩에서 ScreenSpot-Pro 평균 F1 60.3
- 객체, 텍스트, 레이아웃, 화면 요소의 박스와 점을 하나의 모델로
- FlashAttention 경로로 4K 이미지 최대 메모리 약 12GB
아쉬운 점
- 학술 및 비영리 연구 전용, 상업적 사용 불가
- 벤치마크는 NVIDIA 자체 결과이며 독립 재현 없음
- Linux와 Transformers 전용, TensorRT·Triton 미지원
- 출력은 박스와 점이며 마스크는 아님
추천 대상
연구용으로 빠른 오픈 어휘 탐지나 GUI 그라운딩이 필요한 대학 및 비영리 연구실.
LocateAnything-3B 대안
LocateAnything-3B: 자주 묻는 질문
- LocateAnything-3B, 쓸 만한 가치가 있습니까?
- LocateAnything-3B는 NVIDIA가 비교한 오픈 모델보다 빠르게 이미지 속 대상을 찾지만, NVIDIA는 이를 제품에 넣도록 허용하지 않습니다. 평점은 5점 만점에 3.8점입니다.
- LocateAnything-3B의 가격은 얼마입니까?
- 가중치는 학술 및 비영리 연구 용도로 무료이며 상업적 사용은 허용되지 않습니다. 호스팅 API 없음.
- LocateAnything-3B의 단점은 무엇입니까?
- 학술 및 비영리 연구 전용, 상업적 사용 불가; 벤치마크는 NVIDIA 자체 결과이며 독립 재현 없음; Linux와 Transformers 전용, TensorRT·Triton 미지원; 출력은 박스와 점이며 마스크는 아님.
- LocateAnything-3B에 적합한 사람은 누구입니까?
- 연구용으로 빠른 오픈 어휘 탐지나 GUI 그라운딩이 필요한 대학 및 비영리 연구실.
- 팀이나 프로덕션 환경에서 LocateAnything-3B의 비용은 얼마입니까?
- 연구용으로 무료이며 24GB 이상 GPU 한 장에 들어갑니다. 상업적 배포는 NVIDIA가 공개한 어떤 가격으로도 라이선스되지 않습니다.
- LocateAnything-3B에 회사 데이터를 맡겨도 안전합니까?
- 셀프 호스팅이라 이미지는 로컬에 남습니다. NVIDIA License: 학술 및 비영리 연구 전용, 상업적 사용 불가. Qwen Research License의 Qwen2.5-3B-Instruct와 MIT의 MoonViT를 기반으로 합니다.
- LocateAnything-3B의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 SAM 3 (Segment Anything Model 3), Nemotron 3.5 Super VL 및 MiniCPM-V 4.7 (35B-A3B and 1B)입니다.
답변 확인일: 2026년 11월 7일.