Qu’est-ce que Cog ?
Cog empaquette un modèle de machine learning sous forme de conteneur Docker. Vous décrivez l'environnement dans cog.yaml (version de Python, paquets système, dépendances, besoin ou non d'un GPU) et écrivez une classe Python dont setup() charge les poids et dont run() reçoit des entrées typées. Cog choisit une image de base aux versions compatibles de CUDA, cuDNN et du framework, construit le conteneur, génère un schéma OpenAPI à partir de vos types et le sert via coglet, un serveur HTTP en Rust, sur le port 5000.
Il est développé par Replicate, et c'est le format qu'exécute la plateforme hébergée de Replicate : cog push envoie une image vers le registre de Replicate ou vers n'importe quel registre OCI. La même image tourne partout où tourne Docker, vous n'êtes donc pas lié à Replicate. Replicate a été racheté par Cloudflare, une opération conclue le 1er décembre 2025.
Le projet est écrit surtout en Go, sous licence Apache 2.0, et compte environ 9 500 étoiles. Il sort souvent : v0.20.0, en mai 2026, a renommé cog predict en cog run et predict() en run() ; v0.22.0, en août, a fait écouter les serveurs locaux sur 127.0.0.1 seulement ; v0.23.1, du 20 octobre 2026, est la dernière version.
Cog vaut-il le coup ?
Cog supprime la partie de la mise en production d'un modèle que les chercheurs détestent le plus : accorder les versions de CUDA, cuDNN, PyTorch et Python dans un Dockerfile jusqu'à ce que l'image tourne enfin sur un GPU. Vous indiquez la version de Python et les paquets dans cog.yaml, écrivez une classe avec setup() et run(), et cog build produit une image qui répond à POST /predictions avec des entrées vérifiées contre un schéma OpenAPI généré à partir de vos annotations de type.
C'est un outil d'empaquetage, pas un moteur de service rapide. vLLM ou SGLang regroupent les requêtes de nombreux utilisateurs pour tirer le maximum d'un GPU qui fait tourner un modèle de langage ; Cog enveloppe le code que vous écrivez et exécute une prédiction à la fois, sauf si vous relevez la limite avec @cog.concurrent. Cela convient mieux aux modèles d'image, d'audio et de vidéo et aux pipelines sur mesure qu'aux modèles de chat très sollicités ; quand tous les créneaux sont pris, le serveur répond 409 Conflict. Les dernières versions ont ajouté le streaming par Server-Sent Events en juin 2026, un playground dans le navigateur en août et un traçage OpenTelemetry optionnel en septembre.
Le hic : la documentation HTTP ne décrit aucune authentification pour l'API de prédiction. La version 0.22.0 a fait écouter cog serve sur 127.0.0.1 au lieu de toutes les interfaces réseau, une correction sensée, mais une image construite sert toujours sur le port 5000 quiconque peut l'atteindre ; tout déploiement partagé demande donc un proxy avec authentification en amont. L'interface change aussi : v0.20.0 a renommé predict en run (les anciens noms restent des alias), les commandes cog weights préviennent qu'elles sont expérimentales, et un bug corrigé seulement dans v0.23.1 pouvait marquer une prédiction comme réussie alors que l'envoi de son résultat avait échoué.
La propriété est la question de long terme. Cog existe pour alimenter Replicate, désormais propriété de Cloudflare et en cours de migration vers son infrastructure. La licence Apache 2.0 permettrait à l'outil de survivre à un revirement, mais sa feuille de route suit les besoins de Replicate.
Notre avis : Cog est à un modèle ce qu'un conteneur maritime est à une cargaison. Il ne rend pas le contenu plus rapide, mais personne à l'arrivée n'a besoin de savoir ce qu'il y a dedans pour le déplacer.
Là où il fait la différence
Une chercheuse en vision par ordinateur avec un dépôt fonctionnel et sans aide DevOps
Publier un modèle pour que d'autres l'appellent via une API
Écrire cog.yaml et un run.py autour du code d'inférence existant, tester avec cog run -i image=@input.jpg, puis cog push vers Replicate. Cog est gratuit ; Replicate facture à la seconde de matériel pendant que le modèle tourne.
Une équipe plateforme d'un groupe de médias qui fait tourner ses modèles sur son propre cluster Kubernetes
Donner à chaque modèle la même forme de conteneur et le même contrat HTTP
Exiger de chaque équipe une image Cog, la pousser vers le registre OCI interne avec cog push --json pour des références figées par digest, et placer une passerelle avec authentification devant le port 5000. Aucun coût de licence ; le gain est de ne pas maintenir un Dockerfile par modèle.
Une startup de deux personnes qui vend une API de nettoyage audio
Diffuser la progression et les résultats partiels vers l'application du client
Marquer run() avec @cog.streaming et faire demander text/event-stream aux clients pour recevoir les événements start, output, log et completed ; un client qui se reconnecte peut rejouer les événements en cours. Hébergement sur Replicate ou sur un GPU loué.
Avant de vous engager
- Mise en route
- Installer Docker (plus Buildx avec Docker Engine), puis brew install replicate/tap/cog sur macOS ou le script d'installation sous Linux ; Windows 11 demande WSL 2. Une première image, c'est cog.yaml, run.py et cog build ; cog doctor avertit quand les wheels PyTorch et CUDA retenues n'ont pas de kernels pour votre GPU.
- Intégrations
- Docker et tout registre OCI ; registre et hébergement de Replicate ; schéma OpenAPI pour les clients ; streaming par Server-Sent Events ; webhooks ; export OTLP des traces OpenTelemetry ; une interface web locale de playground.
- Données et confidentialité
- Cog n'envoie rien nulle part ; les données restent là où vous faites tourner l'image. La documentation de l'API HTTP ne décrit aucune authentification, et depuis v0.22.0 les serveurs locaux écoutent par défaut sur 127.0.0.1. Le traçage est désactivé par défaut. Apache 2.0.
- Coût à grande échelle
- Cog est gratuit ; le coût, c'est le GPU. Chez Replicate, c'est une facturation à la seconde de matériel ; en auto-hébergement, ce sont vos instances, et la concurrence par défaut d'une prédiction impose plus de répliques quand les requêtes sont nombreuses.
- Limites
- Une prédiction à la fois sauf réglage de @cog.concurrent(max=N) ; les réponses JSON ne permettent pas d'interroger l'état par polling ; les endpoints d'entraînement ne prennent pas en charge SSE ; cog weights est expérimental ; environ 100 issues et pull requests ouvertes.
Les points forts
- Choisit pour vous des versions compatibles de CUDA, cuDNN et du framework
- Schéma OpenAPI et validation des entrées générés à partir des annotations de type Python
- La même image tourne sur Replicate, sur vos hôtes Docker ou dans tout registre OCI
- Versions actives : streaming, playground et traçage OpenTelemetry en 2026
Les points faibles
- Aucune authentification documentée pour l'API de prédiction
- Une prédiction à la fois par défaut ; pas un serveur de LLM avec batching
- Interface mouvante : predict renommé en run dans v0.20.0 ; commandes de poids expérimentales
- Pas de prise en charge native de Windows ; WSL 2 nécessaire
Idéal pour
Les ingénieurs et chercheurs en ML qui doivent faire tourner un modèle de façon fiable dans un conteneur GPU, surtout s'ils publient sur Replicate.
Alternatives à Cog
Cog : questions fréquentes
- Cog vaut-il le coup ?
- Cog est le chemin le plus court d'un dépôt de recherche à un conteneur doté d'une API HTTP typée, et le choix évident si vous hébergez chez Replicate, même si son API ne documente aucune authentification propre et que son interface bouge encore. Nous lui donnons 4.1 sur 5.
- Combien coûte Cog ?
- Gratuit et open source sous Apache 2.0. L'exécution d'images sur Replicate est facturée à part, selon les tarifs de Replicate à la seconde de matériel ou au résultat.
- Quels sont les inconvénients de Cog ?
- Aucune authentification documentée pour l'API de prédiction; une prédiction à la fois par défaut ; pas un serveur de LLM avec batching; interface mouvante : predict renommé en run dans v0.20.0 ; commandes de poids expérimentales; pas de prise en charge native de Windows ; WSL 2 nécessaire.
- À qui s’adresse Cog ?
- Les ingénieurs et chercheurs en ML qui doivent faire tourner un modèle de façon fiable dans un conteneur GPU, surtout s'ils publient sur Replicate.
- Combien coûte Cog pour une équipe ou en production ?
- Cog est gratuit ; le coût, c'est le GPU. Chez Replicate, c'est une facturation à la seconde de matériel ; en auto-hébergement, ce sont vos instances, et la concurrence par défaut d'une prédiction impose plus de répliques quand les requêtes sont nombreuses.
- Cog est-il sûr pour les données de l’entreprise ?
- Cog n'envoie rien nulle part ; les données restent là où vous faites tourner l'image. La documentation de l'API HTTP ne décrit aucune authentification, et depuis v0.22.0 les serveurs locaux écoutent par défaut sur 127.0.0.1. Le traçage est désactivé par défaut. Apache 2.0.
- Quelles sont les meilleures alternatives à Cog ?
- Les alternatives les plus proches que nous avons testées sont vLLM et SGLang.
Réponses vérifiées le 14 nov. 2026.
Vous éditez Cog ? Affichez cette note sur votre site
