Molmo2-8B의 개요
Allen Institute for AI(Ai2)는 2025년 12월 11일 Molmo2를 공개했습니다. Qwen3 기반의 4B와 8B, Ai2 자체 Olmo 기반의 7B 버전이 있습니다. 8B 모델은 Qwen3-8B와 SigLIP 2 시각 인코더를 쓰며, 이미지, 여러 장의 이미지, 비디오에 대한 질문에 답하고 비디오 프레임 전반에 걸쳐 객체를 가리키고 추적할 수 있습니다.
가중치는 Apache 2.0이며, Ai2는 그 바탕이 된 새 데이터셋 9개, 900만(9 million) 건 이상의 예시도 공개했습니다. 어느 것도 클로즈드 모델로 생성하지 않았고, 일부는 비상업 연구 전용 라이선스입니다. 전체 학습 코드는 2026년 3월에 공개됐습니다. Ai2는 이 모델을 연구와 교육용으로 설명합니다. 여전히 Molmo 계열의 최신 모델입니다.
Molmo2-8B, 쓸 만한 가치가 있습니까?
Ai2의 테스트에서 Molmo2-8B는 비디오에 근거한 답변, 즉 객체를 가리키고 세고 프레임을 따라 추적하는 일에서 가장 강한 오픈 모델입니다. Ai2 논문에서 비디오 포인팅은 F1 38.4 대 20.0, 추적은 J&F 56.2 대 41.1로 Gemini 3 Pro를 앞서고, 비디오 카운팅에서도 Qwen3-VL을 35.5 대 29.6으로 앞섭니다. 논문은 클로즈드 모델조차 이런 그라운딩을 대체로 갖추지 못했다고 지적합니다.
이례적으로 개방적이기도 합니다. Ai2는 데이터셋, 코드, 7B Olmo 변형의 베이스 모델을 공개했고, Meta가 PerceptionLM에 쓴 비디오의 8분의 1도 안 되는 양, 즉 919만(9.19 million) 개 대 7,250만(72.5 million) 개로 학습했습니다. 모델의 능력이 어디서 왔는지 설명해야 하는 팀에게는 점수만큼 중요합니다.
한계는 추론과 길이에 있습니다. Ai2는 오픈 웨이트 추론 벤치마크에서 약간 뒤처지고, 긴 비디오 질문에서는 더 큰 클로즈드 시스템이 확실히 앞선다고 인정합니다. 또한 최대 128프레임을 초당 최대 2 프레임으로 샘플링하므로, 10분짜리 클립은 흩어진 정지 화면처럼 보입니다. Ai2 블로그는 Molmo2를 포함해 어떤 모델도 비디오 그라운딩에서 정확도 40%에 이르지 못한다고 밝힙니다.
약 87억(8.7 billion) 파라미터라 BF16으로 24GB GPU 한 장에 들어갑니다. 노후화되고 있습니다. 공개된 지 1년 가까이 됐고 지난달 다운로드는 44,427회로, 이제 비디오도 읽는 Qwen 3.8 같은 새로운 범용 모델보다 훨씬 적습니다.
제 역할을 하는 곳
스포츠 분석 스타트업
짧은 중계 클립에서 선수나 공을 세고 추적
이름으로 지정한 객체를 가리키거나 추적하게 하고 프레임별 좌표를 읽습니다. 24GB GPU 한 장이면 되고, 샘플링 프레임이 128개를 넘는 클립은 먼저 나눠야 합니다.
물류창고 로보틱스 팀
지시에 나온 물건이 카메라 화면 어디에 있는지 로봇에 알려 주기
Molmo2의 포인팅 출력은 컨트롤러가 쓸 수 있는 픽셀 좌표를 줍니다. 일부 학습 데이터셋이 비상업용이므로 상업적 배포 전에 데이터 라이선스를 확인하세요.
VLM이 데이터에서 어떻게 배우는지 연구하는 대학 연구실
비디오 모델을 처음부터 다시 학습하고 데이터 구성을 변경
공개된 데이터셋, 코드, 완전히 개방된 Molmo2-O 7B 변형 덕분에 역설계 없이 가능하며, 이를 허용하는 경쟁 모델은 드뭅니다.
도입 전 확인할 점
- 설정
- transformers 4.57.1, torch, decord2, molmo_utils를 설치하고 AutoModelForImageTextToText와 trust_remote_code로 불러옵니다. Ai2 예제는 비디오 QA, 포인팅, 추적을 다룹니다.
- 연동
- 원격 코드를 쓰는 Hugging Face Transformers, Ai2 Playground, 공개 학습 코드 allenai/molmo2. OpenRouter에 유료 호스팅 API 없음.
- 데이터와 개인정보
- Apache 2.0 가중치. 셀프 호스팅이라 비디오는 로컬에 남습니다. 일부 학습 데이터셋은 비상업 연구 전용이며, Ai2는 모델이 연구와 교육용이라고 밝힙니다.
- 대규모 사용 시 비용
- 셀프 호스팅만 가능. BF16 가중치가 약 17GB라 인스턴스당 24GB GPU 한 장.
- 제한
- 클립당 최대 128프레임, 2 fps 이하. 긴 비디오에서 큰 클로즈드 모델에 뒤처짐. 추론 벤치마크 약함. Molmo3 발표 없음.
좋은 점
- 비디오 속 객체를 가리키고 추적, 추적 J&F 56.2로 Gemini 3 Pro의 41.1보다 높음
- 데이터셋과 학습 코드까지 공개된 Apache 2.0 가중치
- 24GB GPU 한 장에 들어감
- 클로즈드 모델이 생성한 데이터 없이 학습
아쉬운 점
- 추론 벤치마크와 긴 비디오 질문에서 뒤처짐
- 클립당 최대 128프레임
- 일부 학습 데이터셋은 비상업용이며 Ai2는 연구용 모델로 규정
- 유료 호스팅 API 없음
추천 대상
재학습할 수 있는 개방적이고 설명 가능한 비디오 그라운딩이 필요한 연구자와 로보틱스·비디오 분석 팀.
Molmo2-8B 대안
Molmo2-8B: 자주 묻는 질문
- Molmo2-8B, 쓸 만한 가치가 있습니까?
- Molmo2-8B는 비디오에 무언가가 나오는지뿐 아니라 어디에 있는지 알아야 할 때 찾을 오픈 모델입니다. 평점은 5점 만점에 3.9점입니다.
- Molmo2-8B의 가격은 얼마입니까?
- 가중치는 Apache 2.0으로 무료이며, 일부 학습 데이터셋은 비상업용입니다. 유료 호스팅 API는 없습니다.
- Molmo2-8B의 단점은 무엇입니까?
- 추론 벤치마크와 긴 비디오 질문에서 뒤처짐; 클립당 최대 128프레임; 일부 학습 데이터셋은 비상업용이며 Ai2는 연구용 모델로 규정; 유료 호스팅 API 없음.
- Molmo2-8B에 적합한 사람은 누구입니까?
- 재학습할 수 있는 개방적이고 설명 가능한 비디오 그라운딩이 필요한 연구자와 로보틱스·비디오 분석 팀.
- 팀이나 프로덕션 환경에서 Molmo2-8B의 비용은 얼마입니까?
- 셀프 호스팅만 가능. BF16 가중치가 약 17GB라 인스턴스당 24GB GPU 한 장.
- Molmo2-8B에 회사 데이터를 맡겨도 안전합니까?
- Apache 2.0 가중치. 셀프 호스팅이라 비디오는 로컬에 남습니다. 일부 학습 데이터셋은 비상업 연구 전용이며, Ai2는 모델이 연구와 교육용이라고 밝힙니다.
- Molmo2-8B의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 SAM 3 (Segment Anything Model 3), LocateAnything-3B, MiniCPM-V 4.7 (35B-A3B and 1B) 및 Qwen3.8-27B입니다.
답변 확인일: 2026년 11월 7일.