SAM 3 (Segment Anything Model 3)의 개요
SAM 3는 Meta의 세 번째 Segment Anything Model입니다. 2025년 11월 19일 가중치, 코드, 파인튜닝 스크립트, 새 벤치마크와 함께 공개됐습니다. 이전 버전은 클릭이나 박스 하나로 객체 하나씩 윤곽을 땄습니다. SAM 3는 Meta가 promptable concept segmentation이라고 부르는 기능을 더했습니다. "a hardcover book" 같은 짧은 명사구나 예시 박스를 주면 이미지 안에서 일치하는 모든 객체에 대해 마스크, 박스, 점수를 돌려주고, 영상에서는 이를 추적합니다.
파라미터는 8억 4,800만(848 million)개입니다. 텍스트, 박스, 예시 이미지를 조건으로 받는 DETR 방식 검출기와 SAM 2에서 물려받은 트래커로 나뉘며, 둘은 비전 인코더 하나를 공유합니다. "presence token"이 먼저 그 개념이 프레임 안에 있는지부터 판단합니다. 이 덕분에 "a player in white"와 "a player in red"처럼 아슬아슬하게 다른 문구를 구분하기 쉬워집니다. Meta는 사람과 AI가 함께 일하는 데이터 엔진으로 학습 세트를 만들었고, 고유 개념 400만 개 이상에 라벨을 붙였습니다.
2026년 3월 27일 Meta는 그대로 교체해 쓸 수 있는 SAM 3.1을 내놓았습니다. Object Multiplex로 한 번의 forward pass에서 최대 16개 객체를 추적합니다. SAM 3는 Instagram의 Edits 앱과 Facebook Marketplace의 View in Room 기능 안에서 돌아갑니다. 가중치는 Meta 자체의 SAM License를 따르며, SAM과 SAM 2의 Apache 2.0 라이선스를 대체합니다.
SAM 3 (Segment Anything Model 3), 쓸 만한 가치가 있습니까?
이름으로 대상을 찾아 윤곽을 따는 작업 에서 SAM 3는 오픈 모델 중 기준점입니다. Meta의 SA-Co/Gold 이미지 벤치마크에서 인스턴스 마스크 cgF1 54.1을 기록했습니다. OWLv2는 24.6, DINO-X는 21.3, Gemini 2.5는 13.0입니다. 박스 검출에서는 COCO에서 DINO-X를 근소하게 앞섭니다. AP 53.6 대 52.4입니다. LVIS 마스크에서는 48.5 AP로 OWLv2의 43.4를 넘습니다. SA-Co는 개념 270,000개로 이뤄진 Meta 자체 테스트 세트입니다. 따라서 가장 큰 격차는 홈그라운드에서 나온 것이고, LVIS와 COCO 결과는 공개 벤치마크입니다.
사람과의 격차는 아직 큽니다. 같은 SA-Co/Gold 마스크에서 사람 주석자는 72.8을 기록합니다. SAM 3는 사람 수준의 약 4분의 3에 있으며, 이는 Meta 자신의 설명이기도 합니다. 영상은 더 어렵습니다. SA-V 테스트에서는 30.3 cgF1로 사람의 53.1에 못 미치고, SmartGlasses 영상에서는 36.4 대 58.5입니다. 실제 라벨링에서는 강력한 1차 작업 도구이지만, 검수를 대신하지는 못합니다.
프롬프트는 의도적으로 단순합니다. Meta에 따르면 SAM 3는 "a hardcover book" 같은 짧은 문구는 처리하지만 "the second to last book from the right on the top shelf"는 처리하지 못합니다. 더 길거나 추론이 많이 필요한 요청에는 SAM 3 Agent가 필요합니다. 멀티모달 언어 모델이 요청을 짧은 문구로 쪼개고 돌아온 마스크를 확인하는 방식입니다. 영상에서는 최초 릴리스 기준으로 추적 객체마다 별도의 패스가 들어가, 거의 실시간을 유지할 수 있는 것은 객체 다섯 개 정도까지였습니다. SAM 3.1은 이 문제를 다룹니다. Meta는 객체 수가 중간 정도일 때 H100 한 장에서 처리량이 초당 16프레임에서 32프레임으로 두 배가 되고, 객체 128개에서는 약 7배 빨라진다고 밝혔습니다.
라이선스는 가장 크게 후퇴한 부분입니다. SAM과 SAM 2는 Apache 2.0 이었습니다. SAM 3는 이름, 생년월일, 소속을 적는 승인제 가입이 필요하고, 군사 및 ITAR 관련 용도와 리버스 엔지니어링을 금지하며, 연구 논문에는 출처 표기를 요구합니다. 상업적 이용은 허용됩니다. Hugging Face에서 최근 30일 다운로드가 약 190만 회에 이르는 것을 보면, 이 때문에 물러선 사람은 많지 않아 보입니다.
제 역할을 하는 곳
학습 데이터를 만드는 창고 로보틱스 기업의 ML 엔지니어
수천 시간 분량 영상에서 팔레트, 지게차, 사람에 모두 라벨 붙이기
클래스마다 짧은 문구 하나로 SAM 3.1에 프롬프트를 주고 트래커가 클립 내내 각 객체를 따라가게 한 뒤, 주석자가 마스크를 수정합니다. Meta 자체 수치로도 영상 정확도는 사람 수준에 크게 못 미치므로, 원본 출력을 그대로 받아들이지 말고 검수 비용을 잡아 두어야 합니다.
작물 병해를 찾는 농업 스타트업의 컴퓨터 비전 리드
제로샷 프롬프트가 놓치는 틈새 개념 검출
Meta의 코드나 Roboflow로 base checkpoint에서 파인튜닝합니다. Roboflow는 1008 x 1008 픽셀의 인스턴스 분할 데이터셋으로 학습합니다. Roboflow는 도메인 특화 클래스에서 제로샷 프롬프트가 실패할 때만 파인튜닝하라고 권합니다.
엔지니어 20명 규모 사진 편집 앱의 개발자
사용자가 "the sky"나 "all the people"을 입력해 선택하게 하기
SAM 3를 서버에서 돌려 H200 기준 이미지당 약 30 ms에 일치하는 객체마다 마스크를 돌려받고, 이를 앱 자체 편집 도구로 넘깁니다. SAM 3는 윤곽만 따며 픽셀을 바꾸지 않습니다. 더는 Apache 2.0이 아니므로 출시 전에 SAM License 조건을 법무팀과 확인해야 합니다.
도입 전 확인할 점
- 설정
- Hugging Face에서 접근을 요청하고 토큰으로 로그인한 뒤, Python 3.12+, PyTorch 2.7+, CUDA 12.6+ 환경에 GitHub 패키지를 설치합니다. Transformers로도 불러올 수 있습니다. 노트북에는 이미지 및 영상 프롬프트, 배치 추론, SAM 3 Agent 예제가 들어 있습니다.
- 연동
- Hugging Face Transformers, Meta의 Segment Anything Playground, 그리고 주석, 파인튜닝, 호스팅 추론, 자동 라벨링을 위한 Roboflow를 지원합니다. SAM 3 Agent는 복잡한 프롬프트를 위해 멀티모달 언어 모델과 연결합니다.
- 데이터와 개인정보
- 자체 호스팅이므로 이미지와 영상은 자기 하드웨어에 머뭅니다. SAM License는 상업적 이용을 허용하지만 군사, ITAR 관련 및 기타 무역 통제 대상 용도와 리버스 엔지니어링을 금지합니다. 승인 절차에서는 Meta의 개인정보 처리방침에 따라 이름, 생년월일, 국가, 소속을 수집합니다.
- 대규모 사용 시 비용
- 848M 파라미터이므로 데이터센터 GPU 한 장으로 서비스할 수 있습니다. Meta는 H200에서 객체 100개 이상인 이미지 한 장당 30 ms, SAM 3.1은 객체 수가 중간 정도일 때 H100 한 장에서 초당 32프레임이라고 밝혔습니다. Roboflow 호스팅 가격은 자체 요금제를 따릅니다.
- 제한
- 프롬프트는 짧은 명사구나 예시 박스여야 합니다. 최초 릴리스에서는 영상 지연 시간이 추적 객체 수에 비례해 늘어납니다. Meta의 SA-Co 벤치마크 결과는 자체 보고이며, 이미지에서 사람 주석자는 여전히 약 19점 높습니다.
좋은 점
- SA-Co/Gold에서 54.1 cgF1, OWLv2와 DINO-X의 두 배 이상(Meta)
- 텍스트 문구에 해당하는 모든 대상을 검출, 분할, 추적
- H200에서 객체 100개 이상인 이미지 한 장당 30 ms(Meta)
- 파인튜닝 코드 공개, Roboflow에서 자체 데이터 학습 지원
아쉬운 점
- 사람 정확도의 약 4분의 3이며 영상은 그보다 훨씬 낮음
- 짧은 명사구만 처리하며 복잡한 질의에는 별도 언어 모델 필요
- SAM License가 Apache 2.0을 대체했고 승인제 가입과 사용 제한이 있음
- CUDA GPU 필요, SAM 3.1 이전에는 영상 비용이 객체 수에 따라 증가
추천 대상
클래스마다 검출기를 학습시키지 않고 이미지와 영상 전반에서 이름 붙은 객체의 마스크나 박스가 필요한 컴퓨터 비전 팀.
SAM 3 (Segment Anything Model 3) 대안
SAM 3 (Segment Anything Model 3): 자주 묻는 질문
- SAM 3 (Segment Anything Model 3), 쓸 만한 가치가 있습니까?
- SAM 3는 "이 영상 속 지게차를 모두 윤곽 따기"를 프롬프트 하나로 해결합니다. 이전 오픈 어휘 검출기보다 정확도가 두 배 이상이지만, 사람 라벨러에는 여전히 크게 못 미칩니다. 평점은 5점 만점에 4.4점입니다.
- SAM 3 (Segment Anything Model 3)의 가격은 얼마입니까?
- Hugging Face에서 승인제 가입을 거친 뒤 SAM License에 따라 무료입니다. 상업적 이용은 허용되지만 군사, ITAR, 리버스 엔지니어링 관련 제한이 있습니다. Roboflow를 통한 호스팅 사용은 Roboflow 요금제로 과금됩니다.
- SAM 3 (Segment Anything Model 3)의 단점은 무엇입니까?
- 사람 정확도의 약 4분의 3이며 영상은 그보다 훨씬 낮음; 짧은 명사구만 처리하며 복잡한 질의에는 별도 언어 모델 필요; SAM License가 Apache 2.0을 대체했고 승인제 가입과 사용 제한이 있음; CUDA GPU 필요, SAM 3.1 이전에는 영상 비용이 객체 수에 따라 증가.
- SAM 3 (Segment Anything Model 3)에 적합한 사람은 누구입니까?
- 클래스마다 검출기를 학습시키지 않고 이미지와 영상 전반에서 이름 붙은 객체의 마스크나 박스가 필요한 컴퓨터 비전 팀.
- 팀이나 프로덕션 환경에서 SAM 3 (Segment Anything Model 3)의 비용은 얼마입니까?
- 848M 파라미터이므로 데이터센터 GPU 한 장으로 서비스할 수 있습니다. Meta는 H200에서 객체 100개 이상인 이미지 한 장당 30 ms, SAM 3.1은 객체 수가 중간 정도일 때 H100 한 장에서 초당 32프레임이라고 밝혔습니다. Roboflow 호스팅 가격은 자체 요금제를 따릅니다.
- SAM 3 (Segment Anything Model 3)에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 이미지와 영상은 자기 하드웨어에 머뭅니다. SAM License는 상업적 이용을 허용하지만 군사, ITAR 관련 및 기타 무역 통제 대상 용도와 리버스 엔지니어링을 금지합니다. 승인 절차에서는 Meta의 개인정보 처리방침에 따라 이름, 생년월일, 국가, 소속을 수집합니다.
- SAM 3 (Segment Anything Model 3)의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Gemini 3.8 Flash 및 MiniCPM-V 4.7 (35B-A3B and 1B)입니다.
답변 확인일: 2026년 11월 2일.
SAM 3 (Segment Anything Model 3) 개발사입니까? 이 평점을 사이트에 표시하십시오
