Sesame CSM-1B의 개요
CSM-1B는 음성 비서 Maya와 Miles를 만든 미국 기업 Sesame의 오픈 대화형 음성 모델(Conversational Speech Model)로, 2025년 3월 13일 공개됐습니다. Llama 백본과 24 kHz Mimi 오디오 코드를 만드는 더 작은 오디오 디코더로 구성됩니다. 이름과 달리 Hugging Face 페이지에는 디코더를 포함해 약 20억 파라미터로 나옵니다. 2025년 5월 버전 4.52.1부터 Hugging Face Transformers에서 기본 지원됩니다.
CSM은 완성된 목소리가 아니라 기본 모델입니다. 맥락이 없으면 화자를 무작위로 고르고, 대화의 이전 차례를 텍스트와 오디오로 넣어 줄 때 가장 좋은 소리를 내며, 이 방식으로 샘플의 목소리를 이어 갈 수도 있습니다. 영어를 말하며 다른 언어는 약합니다. 텍스트를 생성하지 못하므로 별도의 언어 모델이 필요합니다. 가중치는 Apache 2.0이며 이용 조건에 동의해야 받을 수 있습니다. Sesame 자체 앱에 쓰이는 미세 조정 모델은 여전히 비공개입니다.
Sesame CSM-1B, 쓸 만한 가치가 있습니까?
CSM-1B를 알아 둘 가치가 있는 이유는 대화 맥락을 중심으로 만든 오픈 모델이고, 여전히 Sesame가 공개한 유일한 가중치이기 때문입니다. 대화의 이전 차례를 텍스트, 오디오, 화자 ID와 함께 넣으면 그에 맞춰 말투를 바꿉니다. 바로 이 점이 Sesame 데모 목소리를 낭독이 아니라 그 자리에 있는 사람처럼 들리게 했습니다.
내려받는 것은 그 데모가 아닙니다. 카드는 오픈 모델이 어떤 목소리로도 미세 조정되지 않았다고 분명히 밝히며, 2026년 10월 Sesame 앱의 비서들은 더 새로운 비공개 버전으로 돌아갑니다. 그대로 쓰면 맥락 오디오를 넣지 않는 한 호출마다 무작위 목소리가 나오고, 영어만 되며, 지연, 속도, VRAM 수 치도 공개되지 않았습니다. 출시 20개월이 지난 지금 Hugging Face에는 미세 조정판이 32개 있고, 지난 한 달 다운로드는 약 86,000회로 VoxCPM2의 977,000회에 크게 못 미칩니다.
가장 좋은 점은 생태계입니다. Transformers 기본 지원 덕분에 배칭, CUDA Graphs, 표준 Trainer를 이용한 미세 조정을 쓸 수 있고, DeepInfra가 OpenRouter를 통해 100만 자당 $7에 제공하는데 이는 Boson이나 Fish Audio의 $15의 절반 정도입니다. Artificial Analysis 아레나에는 없으므로 독립적인 품질 수치가 없습니다.
주의할 점: 안전은 문구에만 기대고 있습니다. 카드는 명시적 동의 없이 실존 인물을 흉내 내는 것, 가짜 뉴스, 사기 전화를 금지하고 연구와 교육 전용이라고 하지만, Apache 라이선스에는 그런 제한이 없고 코드도 강제하지 않습니다. GitHub 저장소에 워터마크 파일이 있지만 동작 방식은 문서화돼 있지 않습니다. 저장소의 마지막 커밋은 2025년 5월입니다.
결론: CSM-1B는 영어 대화형 목소리를 직접 미세 조정하려는 팀에게 좋은 출발점입니다. 당장 쓸 수 있는 목소리가 필요하다면 더 새로운 모델이 낫습니다.
제 역할을 하는 곳
사내 ML 엔지니어가 있는 음성 비서 스타트업
대화 흐름에 반응하는 영어 브랜드 목소리를 미세 조정하기
성우 목소리를 녹음하고 Transformers의 Trainer로 미세 조정한 뒤, 추론할 때 이전 차례를 맥락으로 넣습니다. Apache 2.0이라 결과물을 상업적으로 출시할 수 있습니다.
대화형 AI 연구자
대화 맥락이 억양을 어떻게 바꾸는지 연구하기
이전 차례를 Segments로 넣은 경우와 넣지 않은 경우로 같은 대사를 생성해 비교합니다. 24 kHz Mimi 코덱 출력과 화자 ID 덕분에 통제된 실험이 쉽습니다.
GPU 없이 전화 봇을 시제품으로 만드는 개발자
자체 호스팅을 결정하기 전에 CSM의 말투를 시험하기
DeepInfra가 100만 자당 $7에 제공하는 OpenRouter 음성 엔드포인트로 호출하면, 1,000만 자 분량의 테스트에 약 $70이 듭니다.
도입 전 확인할 점
- 설정
- Hugging Face에서 이용 조건에 동의하고(원래 저장소는 Llama-3.2-1B 접근 권한도 필요), Transformers 4.52.1 이상에서 CsmForConditionalGeneration을 불러옵니다. CUDA GPU가 필요하며 CUDA 12.4와 12.6에서 테스트됐습니다.
- 연동
- Hugging Face Transformers, pipeline, Trainer. OpenRouter의 /api/v1/audio/speech 엔드포인트를 통한 DeepInfra로 mp3 또는 pcm을 돌려받습니다.
- 데이터와 개인정보
- 자체 호스팅하면 오디오가 로컬에 남습니다. OpenRouter를 쓰면 요청이 DeepInfra로 가며 EU 역내 라우팅은 지원되지 않습니다. 금지 용도는 카드에 적혀 있지만 강제되지는 않습니다.
- 대규모 사용 시 비용
- 가중치는 무료이며, 호스팅은 OpenRouter 추가 요금 없이 100만 자당 $7입니다.
- 제한
- 영어 전용, 일관된 목소리를 위해 맥락 오디오 필요, 텍스트 생성 불가, 지연과 메모리 수치 미공개.
좋은 점
- 대화 기록을 활용해 말투를 조정
- Apache 2.0 가중치
- 배칭과 미세 조정을 지원하는 Transformers 기본 지원
- OpenRouter를 통해 100만 자당 $7에 호스팅
아쉬운 점
- 영어 전용이며 다른 언어는 '잘 안 될 가능성이 높음'
- 기본 모델이라 맥락 오디오 없이는 목소리가 무작위
- 지연, 속도, VRAM 수치 미공개
- 2025년 5월 이후 저장소 커밋 없음
추천 대상
관대한 라이선스의 오픈 기반 위에서 자체 영어 대화형 목소리를 미세 조정하려는 연구 및 제품 팀.
Sesame CSM-1B 대안
Sesame CSM-1B: 자주 묻는 질문
- Sesame CSM-1B, 쓸 만한 가치가 있습니까?
- CSM-1B는 대화형 음성 연구용 기반으로는 쓸 만하지만, 2026년 말 기준으로는 오래된 영어 전용 모델이라 Sesame 데모처럼 들리게 하려면 손이 많이 갑니다. 평점은 5점 만점에 3.3점입니다.
- Sesame CSM-1B의 가격은 얼마입니까?
- 이용 조건에 동의하면 Apache 2.0으로 무료입니다. OpenRouter를 통해 DeepInfra에서 100만 자당 $7에 호스팅됩니다.
- Sesame CSM-1B의 단점은 무엇입니까?
- 영어 전용이며 다른 언어는 '잘 안 될 가능성이 높음'; 기본 모델이라 맥락 오디오 없이는 목소리가 무작위; 지연, 속도, VRAM 수치 미공개; 2025년 5월 이후 저장소 커밋 없음.
- Sesame CSM-1B에 적합한 사람은 누구입니까?
- 관대한 라이선스의 오픈 기반 위에서 자체 영어 대화형 목소리를 미세 조정하려는 연구 및 제품 팀.
- 팀이나 프로덕션 환경에서 Sesame CSM-1B의 비용은 얼마입니까?
- 가중치는 무료이며, 호스팅은 OpenRouter 추가 요금 없이 100만 자당 $7입니다.
- Sesame CSM-1B에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅하면 오디오가 로컬에 남습니다. OpenRouter를 쓰면 요청이 DeepInfra로 가며 EU 역내 라우팅은 지원되지 않습니다. 금지 용도는 카드에 적혀 있지만 강제되지는 않습니다.
- Sesame CSM-1B의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Higgs TTS 3, VoxCPM2, Chatterbox 및 Maya 2 Native입니다.
답변 확인일: 2026년 11월 7일.