Was ist SAM 3 (Segment Anything Model 3)?
SAM 3 ist das dritte Segment Anything Model von Meta, veröffentlicht am 19. November 2025 mit Gewichten, Code, Skripten zur Feinabstimmung und einem neuen Benchmark. Frühere Versionen umrandeten ein Objekt nach dem anderen, ausgehend von einem Klick oder einer Box. SAM 3 ergänzt, was Meta Promptable Concept Segmentation nennt: Gib ihm eine kurze Nominalphrase wie "a hardcover book" oder eine Beispielbox, und es liefert für jedes passende Objekt in einem Bild eine Maske, eine Box und einen Wert und verfolgt die Objekte durch ein Video.
Es hat 848 Millionen Parameter, aufgeteilt auf einen Detektor im Stil von DETR, der auf Text, Boxen und Beispielbilder konditioniert ist, und einen von SAM 2 übernommenen Tracker, die sich einen Vision-Encoder teilen. Ein "Presence Token" entscheidet zuerst, ob das Konzept überhaupt im Bild vorkommt, was bei knapp danebenliegenden Phrasen wie "a player in white" gegenüber "a player in red" hilft. Meta baute den Trainingsdatensatz mit einer Daten-Engine aus Menschen und KI, die mehr als 4 Millionen verschiedene Konzepte gelabelt hat.
Am 27. März 2026 veröffentlichte Meta SAM 3.1 als direkten Ersatz, mit Object Multiplex, das bis zu 16 Objekte in einem Forward Pass verfolgt. SAM 3 läuft in Instagrams App Edits und in der Funktion View in Room von Facebook Marketplace. Die Gewichte stehen unter Metas eigener SAM License, die die Lizenz Apache 2.0 von SAM und SAM 2 ablöst.
Lohnt sich SAM 3 (Segment Anything Model 3)?
SAM 3 ist das offene Modell, das man schlagen muss, wenn es darum geht, Dinge nach Namen zu finden und zu umranden. Auf Metas Bild-Benchmark SA-Co/Gold erreicht es bei Instanzmasken einen cgF1 von 54,1, gegenüber 24,6 für OWLv2, 21,3 für DINO-X und 13,0 für Gemini 2.5, und bei der Erkennung mit Boxen liegt es auf COCO knapp vor DINO-X, 53,6 AP zu 52,4. Bei Masken auf LVIS erreicht es 48,5 AP gegenüber 43,4 für OWLv2. SA-Co ist Metas eigener Testsatz mit 270.000 Konzepten, die größten Abstände entstehen also auf heimischem Terrain; die Ergebnisse auf LVIS und COCO stammen von öffentlichen Benchmarks.
Der Abstand zum Menschen ist weiterhin groß. Menschliche Annotatoren erreichen auf denselben Masken aus SA-Co/Gold 72,8, SAM 3 liegt also bei etwa drei Vierteln des menschlichen Niveaus, so beschreibt es Meta selbst. Video ist schwieriger: Auf dem Test SA-V erreicht es 30,3 cgF1 gegenüber 53,1 für Menschen und bei Aufnahmen von SmartGlasses 36,4 gegenüber 58,5. Für das Labeling in der Produktion ist es ein starker erster Durchgang, kein Ersatz für die Prüfung.
Seine Prompts sind bewusst einfach. Laut Meta bewältigt SAM 3 kurze Phrasen wie "a hardcover book", aber nicht "the second to last book from the right on the top shelf"; längere oder reasoninglastige Anfragen brauchen SAM 3 Agent, ein Muster, bei dem ein multimodales Sprachmodell die Anfrage in kurze Phrasen zerlegt und die zurückgegebenen Masken prüft. Im Video kostete in der ursprünglichen Version jedes verfolgte Objekt einen eigenen Durchlauf, nahezu in Echtzeit blieb es also nur bei etwa fünf Objekten. SAM 3.1 geht das an: Meta meldet für eine mittlere Zahl von Objekten eine Verdopplung des Durchsatzes von 16 auf 32 Bilder pro Sekunde auf einer H100 und bei 128 Objekten etwa eine 7-fache Beschleunigung.
Die Lizenz ist der größte Rückschritt. SAM und SAM 2 standen unter Apache 2.0; SAM 3 braucht eine Anmeldung mit Zugangsschranke samt Name, Geburtsdatum und Zugehörigkeit, verbietet militärische und ITAR-bezogene Nutzung sowie Reverse Engineering und verlangt, dass Forschungsarbeiten es nennen. Kommerzielle Nutzung ist erlaubt, und fast 1,9 Millionen Downloads in den letzten 30 Tagen auf Hugging Face lassen vermuten, dass sich nur wenige davon abschrecken ließen.
Wo es sich lohnt
Ein ML-Engineer bei einem Unternehmen für Lagerrobotik, der Trainingsdaten aufbaut
Jede Palette, jeden Gabelstapler und jede Person in Tausenden Stunden Video labeln
Gib SAM 3.1 eine kurze Phrase pro Klasse und lass den Tracker jedes Objekt durch den Clip verfolgen, dann korrigieren Annotatoren die Masken. Metas eigene Zahlen setzen die Genauigkeit bei Video deutlich unter menschliches Niveau, plane also eine Prüfung ein, statt die Rohausgabe zu übernehmen.
Ein Computer-Vision-Lead bei einem Agrar-Startup, das Pflanzenkrankheiten erkennt
Ein Nischenkonzept erkennen, das Zero-Shot-Prompts verfehlen
Stimme ausgehend vom Basis-Checkpoint mit Metas Code oder in Roboflow ab, das auf einem Datensatz zur Instanzsegmentierung mit 1008 x 1008 Pixeln trainiert. Roboflow rät, nur dann feinabzustimmen, wenn Zero-Shot-Prompts bei fachspezifischen Klassen scheitern.
Eine Entwicklerin bei einer Fotobearbeitungs-App mit 20 Entwicklern
Nutzer "den Himmel" oder "alle Personen" per Eingabe auswählen lassen
Betreibe SAM 3 serverseitig, damit es auf einer H200 in etwa 30 ms pro Bild eine Maske pro passendem Objekt liefert, und gib die Maske dann an die eigenen Bearbeitungswerkzeuge der App weiter; SAM 3 umrandet, verändert aber keine Pixel. Lass die Bedingungen der SAM License vor dem Start von der Rechtsabteilung prüfen, denn es ist nicht mehr Apache 2.0.
Bevor du dich festlegst
- Einrichtung
- Zugang auf Hugging Face beantragen und mit einem Token anmelden, dann das GitHub-Paket auf Python 3.12+, PyTorch 2.7+ und CUDA 12.6+ installieren; auch Transformers lädt es. Notebooks decken Prompts für Bild und Video, Batch-Inferenz und SAM 3 Agent ab.
- Integrationen
- Hugging Face Transformers, Metas Segment Anything Playground und Roboflow für Annotation, Feinabstimmung, gehostete Inferenz und automatisches Labeling. SAM 3 Agent verbindet es für komplexe Prompts mit einem multimodalen Sprachmodell.
- Daten und Datenschutz
- Selbst gehostet bleiben Bilder und Videos auf deiner Hardware. Die SAM License erlaubt kommerzielle Nutzung, verbietet aber militärische, ITAR-bezogene und andere exportkontrollierte Nutzung sowie Reverse Engineering, und die Zugangsschranke erfasst Name, Geburtsdatum, Land und Zugehörigkeit nach Metas Datenschutzrichtlinie.
- Kosten im großen Maßstab
- Bei 848M Parametern reicht eine Rechenzentrums-GPU; Meta meldet 30 ms pro Bild mit mehr als 100 Objekten auf einer H200 und für SAM 3.1 32 Bilder pro Sekunde auf einer H100 bei einer mittleren Zahl von Objekten. Die gehosteten Preise von Roboflow folgen dessen eigenen Tarifen.
- Grenzen
- Prompts müssen kurze Nominalphrasen oder Beispielboxen sein; in der ursprünglichen Version steigt die Videolatenz linear mit der Zahl der verfolgten Objekte. Metas Ergebnisse auf SA-Co sind selbst gemeldet, und menschliche Annotatoren liegen bei Bildern noch etwa 19 Punkte höher.
Was gut ist
- 54,1 cgF1 auf SA-Co/Gold, mehr als doppelt so viel wie OWLv2 und DINO-X (Meta)
- Erkennt, segmentiert und verfolgt jede Instanz einer Textphrase
- 30 ms pro Bild mit 100+ Objekten auf einer H200 (Meta)
- Code zur Feinabstimmung veröffentlicht; Roboflow unterstützt Training mit eigenen Daten
Was nicht
- Etwa drei Viertel der menschlichen Genauigkeit; bei Video deutlich darunter
- Nur kurze Nominalphrasen; komplexe Anfragen brauchen ein zusätzliches Sprachmodell
- SAM License ersetzt Apache 2.0, mit Anmeldung, Zugangsschranke und Nutzungsbeschränkungen
- Braucht eine CUDA-GPU; vor SAM 3.1 steigen die Videokosten mit der Zahl der Objekte
Am besten für
Computer-Vision-Teams, die Masken oder Boxen für benannte Objekte in Bildern und Videos brauchen, ohne für jede Klasse einen Detektor zu trainieren.
Alternativen zu SAM 3 (Segment Anything Model 3)
SAM 3 (Segment Anything Model 3): häufige Fragen
- Lohnt sich SAM 3 (Segment Anything Model 3)?
- SAM 3 macht aus "umrande jeden Gabelstapler in diesem Video" einen einzigen Prompt, mit mehr als doppelt so hoher Genauigkeit wie die Open-Vocabulary-Detektoren davor, aber noch deutlich unter einem menschlichen Annotator. Wir bewerten es mit 4.4 von 5.
- Was kostet SAM 3 (Segment Anything Model 3)?
- Kostenlos unter der SAM License nach einer Anmeldung mit Zugangsschranke auf Hugging Face; kommerzielle Nutzung erlaubt, mit Einschränkungen für Militär, ITAR und Reverse Engineering. Gehostete Nutzung über Roboflow wird nach den Tarifen von Roboflow abgerechnet.
- Welche Nachteile hat SAM 3 (Segment Anything Model 3)?
- Etwa drei Viertel der menschlichen Genauigkeit; bei Video deutlich darunter; Nur kurze Nominalphrasen; komplexe Anfragen brauchen ein zusätzliches Sprachmodell; SAM License ersetzt Apache 2.0, mit Anmeldung, Zugangsschranke und Nutzungsbeschränkungen; Braucht eine CUDA-GPU; vor SAM 3.1 steigen die Videokosten mit der Zahl der Objekte.
- Für wen eignet sich SAM 3 (Segment Anything Model 3)?
- Computer-Vision-Teams, die Masken oder Boxen für benannte Objekte in Bildern und Videos brauchen, ohne für jede Klasse einen Detektor zu trainieren.
- Was kostet SAM 3 (Segment Anything Model 3) für ein Team oder im Produktivbetrieb?
- Bei 848M Parametern reicht eine Rechenzentrums-GPU; Meta meldet 30 ms pro Bild mit mehr als 100 Objekten auf einer H200 und für SAM 3.1 32 Bilder pro Sekunde auf einer H100 bei einer mittleren Zahl von Objekten. Die gehosteten Preise von Roboflow folgen dessen eigenen Tarifen.
- Ist SAM 3 (Segment Anything Model 3) sicher für Firmendaten?
- Selbst gehostet bleiben Bilder und Videos auf deiner Hardware. Die SAM License erlaubt kommerzielle Nutzung, verbietet aber militärische, ITAR-bezogene und andere exportkontrollierte Nutzung sowie Reverse Engineering, und die Zugangsschranke erfasst Name, Geburtsdatum, Land und Zugehörigkeit nach Metas Datenschutzrichtlinie.
- Was sind die besten Alternativen zu SAM 3 (Segment Anything Model 3)?
- Die nächsten Alternativen, die wir getestet haben, sind Gemini 3.8 Flash und MiniCPM-V 4.7 (35B-A3B and 1B).
Antworten geprüft am 2. Nov. 2026.
Du entwickelst SAM 3 (Segment Anything Model 3)? Zeig diese Bewertung auf deiner Website
