Cog의 개요
Cog는 머신러닝 모델을 Docker 컨테이너로 패키징합니다. cog.yaml에 환경(Python 버전, 시스템 패키지, 의존성, GPU 필요 여부)을 적고, setup()에서 가중치를 불러오고 run()에서 타입이 지정된 입력을 받는 Python 클래스를 작성합니다. Cog는 호환되는 CUDA, cuDNN, 프레임워크 버전의 베이스 이미지를 골라 컨테이너를 빌드하고, 타입에서 OpenAPI 스키마를 생성해 Rust HTTP 서버인 coglet으로 포트 5000에서 제공합니다.
Replicate가 만들며, Replicate 호스팅 플랫폼이 실행하는 형식이기도 합니다. cog push는 이미지를 Replicate 레지스트리나 어떤 OCI 레지스트리로든 보냅니다. 같은 이미지는 Docker가 돌아가는 곳이면 어디서나 실행되므로 Replicate에 묶이지 않습니다. Replicate는 Cloudflare에 인수되었고, 거래는 2025년 12월 1일에 마무리되었습니다.
프로젝트는 주로 Go로 작성되었고 Apache 2.0 라이선스이며 스타는 약 9,500개입니다. 릴리스가 잦습니다. 2026년 5월 v0.20.0은 cog predict를 cog run으로, predict()를 run()으로 바꿨고, 8월 v0.22.0은 로컬 서버가 127.0.0.1에서만 수신하도록 바꿨으며, 2026년 10월 20일의 v0.23.1이 최신 릴리스입니다.
Cog, 쓸 만한 가치가 있습니까?
Cog는 연구자들이 모델을 배포할 때 가장 싫어하는 일을 없애 줍니다. 이미지가 마침내 GPU에서 돌아갈 때까지 Dockerfile에서 CUDA, cuDNN, PyTorch, Python 버전을 맞추는 일입니다. cog.yaml에 Python 버전과 패키지를 적고 setup()과 run()을 가진 클래스를 쓰면, cog build가 타입 힌트로 생성한 OpenAPI 스키마로 입력을 검사하며 POST /predictions에 응답하는 이미지를 만듭니다.
이것은 패키징 도구이지 빠른 서빙 엔진이 아닙니다. vLLM이나 SGLang은 여러 사용자의 요청을 묶어 언어 모델을 돌리는 GPU의 처리량을 끌어올립니다. Cog는 작성한 코드를 그대로 감싸며, @cog.concurrent로 한도를 올리지 않으면 예측을 한 번에 하나씩 실행합니다. 동시 사용자가 많은 채팅 모델보다는 이미지, 오디오, 비디오 모델과 맞춤형 파이프라인에 더 맞습니다. 모든 슬롯이 차면 서버는 409 Conflict로 응답합니다. 최근 릴리스는 2026년 6월에 Server-Sent Events 스트리밍, 8월에 브라우저 playground, 9월에 선택형 OpenTelemetry 트레이싱을 더했습니다.
주의할 점: HTTP 문서에는 예측 API의 인증이 설명되어 있지 않습니다. 버전 0.22.0에서 cog serve가 모든 네트워크 인터페이스가 아니 라 127.0.0.1에서 수신하도록 바뀐 것은 합리적인 수정이지만, 빌드된 이미지는 여전히 닿을 수 있는 누구에게나 포트 5000으로 응답합니다. 따라서 공유 배포라면 앞단에 인증 프록시가 필요합니다. 인터페이스도 바뀝니다. v0.20.0은 predict를 run으로 바꿨고(옛 이름은 별칭으로 계속 동작), cog weights 명령은 실험적이라는 경고를 출력하며, v0.23.1에서야 고쳐진 버그는 출력 업로드가 실패한 예측을 성공으로 표시할 수 있었습니다.
장기적인 질문은 소유권입니다. Cog는 Replicate를 위해 존재하며, Replicate는 이제 Cloudflare 소유로 Cloudflare 인프라로 옮겨 가고 있습니다. 라이선스가 Apache 2.0이라 방향이 바뀌어도 도구는 살아남겠지만, 로드맵은 Replicate의 필요를 따릅니다.
결론: Cog와 모델의 관계는 선박 컨테이너와 화물의 관계와 같습니다. 내용물을 빠르게 만들지는 않지만, 받는 쪽은 안에 무엇이 있는지 몰라도 옮길 수 있습니다.
제 역할을 하는 곳
작동하는 저장소는 있지만 DevOps 지원이 없는 컴퓨터 비전 연구자
다른 사람이 API로 호출할 수 있게 모델을 공개한다
기존 추론 코드를 감싸는 cog.yaml과 run.py를 쓰고, cog run -i image=@input.jpg로 시험한 뒤 Replicate로 cog push합니다. Cog는 무료이고, Replicate는 모델이 실행되는 동안 하드웨어 초 단위로 과금합니다.
자체 Kubernetes 클러스터에서 모델을 운영하는 미디어 회사의 플랫폼 팀
모든 모델에 같은 컨테이너 형태와 같은 HTTP 규약을 적용한다
모델 팀마다 Cog 이미지로 납품하게 하고, cog push --json으로 다이제스트가 고정된 참조를 받으며 사내 OCI 레지스트리에 올리고, 포트 5000 앞에 인증 게이트웨이를 둡니다. 라이선스 비용은 없고, 모델마다 Dockerfile을 관리하지 않아도 됩니다.
오디오 정리 API를 파는 2인 스타트업
진행 상황과 부분 결과를 고객 앱으로 스트리밍한다
run()에 @cog.streaming을 붙이고 클라이언트가 text/event-stream을 요청해 start, output, log, completed 이벤트를 받게 합니다. 재연결한 클라이언트는 진행 중인 이벤트를 다시 받을 수 있습니다. Replicate나 임대한 GPU에서 호스팅합니다.
도입 전 확인할 점
- 설정
- Docker(Docker Engine이면 Buildx도)를 설치하고, macOS에서는 brew install replicate/tap/cog, Linux에서는 설치 스크립트를 씁니다. Windows 11에는 WSL 2가 필요합니다. 첫 이미지는 cog.yaml, run.py, cog build로 만들며, cog doctor는 선택된 PyTorch와 CUDA wheel에 GPU용 커널이 없으면 경고합니다.
- 연동
- Docker와 모든 OCI 레지스트리, Replicate 레지스트리와 호스팅, 클라이언트용 OpenAPI 스키마, Server-Sent Events 스트리밍, 웹훅, OpenTelemetry 트레이스의 OTLP 내보내기, 로컬 playground 웹 UI.
- 데이터와 개인정보
- Cog 자체는 아무 데도 데이터를 보내지 않으며, 데이터는 이미지를 실행하는 곳에 머뭅니다. HTTP API 문서에는 인증 설명이 없고, v0.22.0부터 로컬 서버는 기본적으로 127.0.0.1에서 수신합니다. 트레이싱은 기본적으로 꺼져 있습니다. Apache 2.0입니다.
- 대규모 사용 시 비용
- Cog는 무료이고 비용은 GPU입니다. Replicate에서는 하드웨어 초 단위 과금이고, 자체 호스팅이면 자기 인스턴스 비용입니다. 기본 동시 실행이 예측 1개라서 요청이 많으면 복제본이 더 필요합니다.
- 제한
- @cog.concurrent(max=N)을 설정하지 않으면 예측은 하나씩 실행됩니다. JSON 응답은 상태 폴링을 지원하지 않습니다. 학습 엔드포인트는 SSE를 지원하지 않습니다. cog weights는 실험적입니다. 열린 이슈와 풀 리퀘스트는 약 100개입니다.
좋은 점
- 호환되는 CUDA, cuDNN, 프레임워크 버전을 대신 골라 줌
- Python 타입 힌트로 OpenAPI 스키마와 입력 검증을 생성
- 같은 이미지가 Replicate, 자체 Docker 호스트, 어떤 OCI 레지스트리에서도 실행
- 활발한 릴리스: 2026년에 스트리밍, playground, OpenTelemetry 트레이싱 추가
아쉬운 점
- 예측 API의 인증이 문서화되어 있지 않음
- 기본적으로 예측을 하나씩 실행하며, 배칭하는 LLM 서버가 아님
- 인터페이스 변화: v0.20.0에서 predict가 run으로, weights 명령은 실험적
- Windows 기본 지원이 없어 WSL 2가 필요
추천 대상
GPU 컨테이너에서 모델을 안정적으로 돌려야 하는 ML 엔지니어와 연구자, 특히 Replicate에 공개하는 사람.
Cog 대안
Cog: 자주 묻는 질문
- Cog, 쓸 만한 가치가 있습니까?
- Cog는 연구 저장소에서 타입이 지정된 HTTP API를 갖춘 컨테이너까지 가는 가장 짧은 길이고, Replicate에서 호스팅한다면 당연한 선택입니다. 다만 API에 자체 인증이 문서화되어 있지 않고 인터페이스도 아직 바뀌고 있습니다. 평점은 5점 만점에 4.1점입니다.
- Cog의 가격은 얼마입니까?
- Apache 2.0의 무료 오픈소스입니다. Replicate에서 이미지를 실행하면 Replicate의 하드웨어 초 단위 또는 출력 단위 요금이 별도로 청구됩니다.
- Cog의 단점은 무엇입니까?
- 예측 API의 인증이 문서화되어 있지 않음; 기본적으로 예측을 하나씩 실행하며, 배칭하는 LLM 서버가 아님; 인터페이스 변화: v0.20.0에서 predict가 run으로, weights 명령은 실험적; Windows 기본 지원이 없어 WSL 2가 필요.
- Cog에 적합한 사람은 누구입니까?
- GPU 컨테이너에서 모델을 안정적으로 돌려야 하는 ML 엔지니어와 연구자, 특히 Replicate에 공개하는 사람.
- 팀이나 프로덕션 환경에서 Cog의 비용은 얼마입니까?
- Cog는 무료이고 비용은 GPU입니다. Replicate에서는 하드웨어 초 단위 과금이고, 자체 호스팅이면 자기 인스턴스 비용입니다. 기본 동시 실행이 예측 1개라서 요청이 많으면 복제본이 더 필요합니다.
- Cog에 회사 데이터를 맡겨도 안전합니까?
- Cog 자체는 아무 데도 데이터를 보내지 않으며, 데이터는 이미지를 실행하는 곳에 머뭅니다. HTTP API 문서에는 인증 설명이 없고, v0.22.0부터 로컬 서버는 기본적으로 127.0.0.1에서 수신합니다. 트레이싱은 기본적으로 꺼져 있습니다. Apache 2.0입니다.
- Cog의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 vLLM 및 SGLang입니다.
답변 확인일: 2026년 11월 14일.
Cog 개발사입니까? 이 평점을 사이트에 표시하십시오
