Was ist Cog?
Cog verpackt ein Machine-Learning-Modell als Docker-Container. Du beschreibst die Umgebung in cog.yaml (Python-Version, Systempakete, Abhängigkeiten, ob eine GPU nötig ist) und schreibst eine Python-Klasse, deren setup() die Gewichte lädt und deren run() typisierte Eingaben annimmt. Cog wählt ein Basis-Image mit passenden Versionen von CUDA, cuDNN und Framework, baut den Container, erzeugt aus deinen Typen ein OpenAPI-Schema und liefert es über coglet, einen HTTP-Server in Rust, auf Port 5000 aus.
Entwickelt wird es von Replicate, und es ist das Format, das Replicates gehostete Plattform ausführt: cog push schickt ein Image in Replicates Registry oder in jede OCI-Registry. Dasselbe Image läuft überall, wo Docker läuft, du bist also nicht an Replicate gebunden. Replicate selbst wurde von Cloudflare gekauft; der Kauf wurde am 1. Dezember 2025 abgeschlossen.
Das Projekt ist überwiegend in Go geschrieben, steht unter Apache 2.0 und hat rund 9.500 Sterne. Es erscheint häufig: v0.20.0 benannte im Mai 2026 cog predict in cog run und predict() in run() um, v0.22.0 ließ lokale Server im August nur noch auf 127.0.0.1 lauschen, und v0.23.1 vom 20. Oktober 2026 ist das jüngste Release.
Lohnt sich Cog?
Cog nimmt Forschenden den Teil der Modellauslieferung ab, den sie am meisten hassen: CUDA-, cuDNN-, PyTorch- und Python-Versionen in einem Dockerfile so lange abzugleichen, bis das Image endlich auf einer GPU läuft. Du trägst Python-Version und Pakete in cog.yaml ein, schreibst eine Klasse mit setup() und run(), und cog build erzeugt ein Image, das auf POST /predictions antwortet und Eingaben gegen ein OpenAPI-Schema prüft, das aus deinen Typannotationen entsteht.
Es ist ein Verpackungswerkzeug, keine schnelle Serving-Engine. vLLM oder SGLang bündeln Anfragen vieler Nutzer, um aus einer GPU mit Sprachmodell den Durchsatz herauszuholen; Cog umhüllt den Code, den du schreibst, und führt eine Vorhersage nach der anderen aus, es sei denn, du hebst das Limit mit @cog.concurrent an. Das passt eher zu Bild-, Audio- und Videomodellen und eigenen Pipelines als zu Chatmodellen mit vielen gleichzeitigen Nutzern; sind alle Plätze belegt, antwortet der Server mit 409 Conflict. Neuere Releases brachten im Juni 2026 Streaming per Server-Sent Events, im August einen Browser-Playground und im September optionales OpenTelemetry-Tracing.
Der Haken: Die HTTP-Dokumentation beschreibt keine Authentifizierung für die Vorhersage-API. Version 0.22.0 ließ cog serve auf 127.0.0.1 statt auf allen Netzwerkschnittstellen lauschen, eine vernünftige Korrektur, doch ein gebautes Image bedient auf Port 5000 weiterhin jeden, der es erreicht. Vor jede gemeinsam genutzte Installation gehört deshalb ein Proxy mit Authentifizierung. Auch die Schnittstelle ändert sich: v0.20.0 benannte predict in run um (die alten Namen funktionieren als Aliase weiter), die Befehle von cog weights warnen, dass sie experimentell sind, und ein erst in v0.23.1 behobener Fehler konnte eine Vorhersage als erfolgreich markieren, nachdem der Upload ihrer Ausgabe gescheitert war.
Die Eigentümerschaft ist die langfristige Frage. Cog existiert, um Replicate zu beliefern, das jetzt Cloudflare gehört und auf dessen Infrastruktur umzieht. Die Lizenz ist Apache 2.0, das Werkzeug würde einen Kurswechsel also überleben, aber seine Roadmap folgt Replicates Bedarf.
Unser Fazit: Cog ist für ein Modell, was ein Schiffscontainer für Fracht ist. Der Inhalt wird dadurch nicht schneller, aber am anderen Ende muss niemand wissen, was drin ist, um ihn zu bewegen.
Wo es sich lohnt
Eine Computer-Vision-Forscherin mit funktionierendem Repo und ohne DevOps-Hilfe
Ein Modell veröffentlichen, damit andere es über eine API aufrufen können
cog.yaml und eine run.py um den vorhandenen Inferenzcode schreiben, mit cog run -i image=@input.jpg testen und dann per cog push zu Replicate schicken. Cog ist kostenlos; Replicate rechnet pro Hardware-Sekunde ab, solange das Modell läuft.
Ein Plattformteam eines Medienhauses, das Modelle im eigenen Kubernetes-Cluster betreibt
Jedem Modell dieselbe Containerform und denselben HTTP-Vertrag geben
Von jedem Modellteam ein Cog-Image verlangen, es mit cog push --json für per Digest fixierte Referenzen in die interne OCI-Registry schieben und ein Gateway mit Authentifizierung vor Port 5000 setzen. Keine Lizenzkosten; die Ersparnis ist, nicht ein Dockerfile pro Modell pflegen zu müssen.
Ein Zwei-Personen-Startup, das eine API zur Audiobereinigung verkauft
Fortschritt und Teilergebnisse an die App des Kunden streamen
run() mit @cog.streaming markieren und Clients text/event-stream anfordern lassen, um die Events start, output, log und completed zu bekommen; Clients, die sich neu verbinden, können laufende Events nachholen. Gehostet auf Replicate oder einer gemieteten GPU.
Bevor du dich festlegst
- Einrichtung
- Docker installieren (bei Docker Engine zusätzlich Buildx), dann brew install replicate/tap/cog auf macOS oder das Installationsskript unter Linux; Windows 11 braucht WSL 2. Ein erstes Image besteht aus cog.yaml, run.py und cog build; cog doctor warnt, wenn die gewählten PyTorch- und CUDA-Wheels keine Kernels für deine GPU enthalten.
- Integrationen
- Docker und jede OCI-Registry; Registry und Hosting von Replicate; OpenAPI-Schema für Clients; Streaming per Server-Sent Events; Webhooks; OTLP-Export für OpenTelemetry-Traces; eine lokale Playground-Web-UI.
- Daten und Datenschutz
- Cog selbst sendet nichts; die Daten bleiben dort, wo du das Image betreibst. Die Dokumentation der HTTP-API beschreibt keine Authentifizierung, und lokale Server lauschen seit v0.22.0 standardmäßig auf 127.0.0.1. Tracing ist standardmäßig aus. Apache 2.0.
- Kosten im großen Maßstab
- Cog ist kostenlos; die Kosten sind die GPU. Bei Replicate ist das Abrechnung pro Hardware-Sekunde; selbst gehostet sind es eigene Instanzen, und die Standard-Parallelität von einer Vorhersage bedeutet bei vielen Anfragen mehr Replikate.
- Grenzen
- Eine Vorhersage nach der anderen, solange @cog.concurrent(max=N) nicht gesetzt ist; JSON-Antworten erlauben kein Polling des Status; Trainings-Endpunkte unterstützen kein SSE; cog weights ist experimentell; rund 100 offene Issues und Pull Requests.
Was gut ist
- Wählt passende Versionen von CUDA, cuDNN und Framework für dich
- OpenAPI-Schema und Eingabeprüfung aus Python-Typannotationen erzeugt
- Dasselbe Image läuft auf Replicate, auf eigenen Docker-Hosts oder in jeder OCI-Registry
- Aktive Releases: Streaming, Playground und OpenTelemetry-Tracing in 2026
Was nicht
- Keine Authentifizierung für die Vorhersage-API dokumentiert
- Standardmäßig eine Vorhersage nach der anderen; kein LLM-Server mit Batching
- Schnittstelle im Wandel: predict wurde in v0.20.0 zu run; Gewichte-Befehle experimentell
- Keine native Windows-Unterstützung; WSL 2 nötig
Am besten für
ML-Ingenieure und Forschende, die ein Modell zuverlässig in einem GPU-Container betreiben müssen, besonders wenn sie auf Replicate veröffentlichen.
Alternativen zu Cog
Cog: häufige Fragen
- Lohnt sich Cog?
- Cog ist der kürzeste Weg von einem Forschungs-Repo zu einem Container mit typisierter HTTP-API und die naheliegende Wahl, wenn du bei Replicate hosten willst, auch wenn die API keine eigene Authentifizierung dokumentiert und sich die Schnittstelle noch bewegt. Wir bewerten es mit 4.1 von 5.
- Was kostet Cog?
- Kostenlos und Open Source unter Apache 2.0. Der Betrieb von Images auf Replicate wird separat nach Replicates Preisen pro Hardware-Sekunde oder pro Ausgabe abgerechnet.
- Welche Nachteile hat Cog?
- Keine Authentifizierung für die Vorhersage-API dokumentiert; Standardmäßig eine Vorhersage nach der anderen; kein LLM-Server mit Batching; Schnittstelle im Wandel: predict wurde in v0.20.0 zu run; Gewichte-Befehle experimentell; Keine native Windows-Unterstützung; WSL 2 nötig.
- Für wen eignet sich Cog?
- ML-Ingenieure und Forschende, die ein Modell zuverlässig in einem GPU-Container betreiben müssen, besonders wenn sie auf Replicate veröffentlichen.
- Was kostet Cog für ein Team oder im Produktivbetrieb?
- Cog ist kostenlos; die Kosten sind die GPU. Bei Replicate ist das Abrechnung pro Hardware-Sekunde; selbst gehostet sind es eigene Instanzen, und die Standard-Parallelität von einer Vorhersage bedeutet bei vielen Anfragen mehr Replikate.
- Ist Cog sicher für Firmendaten?
- Cog selbst sendet nichts; die Daten bleiben dort, wo du das Image betreibst. Die Dokumentation der HTTP-API beschreibt keine Authentifizierung, und lokale Server lauschen seit v0.22.0 standardmäßig auf 127.0.0.1. Tracing ist standardmäßig aus. Apache 2.0.
- Was sind die besten Alternativen zu Cog?
- Die nächsten Alternativen, die wir getestet haben, sind vLLM und SGLang.
Antworten geprüft am 14. Nov. 2026.
Du entwickelst Cog? Zeig diese Bewertung auf deiner Website
