ChatTTS의 개요
ChatTTS는 2noise가 만든 음성 합성 모델로, LLM 어시스턴트의 목소리 같은 대화형 발화를 위해 설계되었고 중국어와 영어를 지원합니다. 텍스트에 [laugh], [uv_break], [lbreak] 같은 제어 토큰을 넣거나, 문장 단위로 구어체 정도, 웃음, 쉼을 정할 수 있으며, 무작위 화자 임베딩을 뽑아 새 목소리를 얻을 수 있습니다. 출력은 24 kHz 오디오입니다.
팀에 따르면 주력 모델은 100,000시간이 넘는 중국어·영어 음성으로 학습했지만, 공개 버전은 지도 파인튜닝을 하지 않은 40,000시간 기반 모델입니 다. Hugging Face의 가중치는 2024년 10월에 마지막으로 갱신되었습니다. 악용을 막기 위해 저자들은 학습 중 소량의 고주파 노이즈를 넣고 오디오를 MP3로 압축했기 때문에, 공개 모델은 일부러 실제 성능보다 거칠게 들립니다.
라이선스부터 읽어야 합니다. 코드는 AGPLv3 이상으로, 수정한 버전을 네트워크 서비스로 제공하면 소스 코드를 공개해야 합니다. 모델 가중치는 CC BY-NC 4.0이며, README는 학술·연구 용도로만 쓰고 상업적으로는 쓰지 말라고 합니다. 저장소의 스타는 약 40,000개이고, 2026년 4월 10일에 나온 v0.2.5가 최신 릴리스이자 마지막 커밋입니다.
ChatTTS, 쓸 만한 가치가 있습니까?
ChatTTS는 대화 음성을 위한 연구 도구이며, 라이선스가 이를 권고가 아니라 분명한 경계로 만듭니다. CC BY-NC 4.0 가중치는 상업적 이용을 금지하고, AGPLv3+ 코드는 수정본을 네트워크로 제공하는 사람에게 소스 공유 의무를 지우며, 2noise는 구매할 수 있는 상업용 라이선스를 내놓지 않습니다. 유료 음성 어시스턴트를 만드는 스타트업은 이 모델로 출시할 수 없습니다.
그 경계 안에서는 많은 오픈 음성 합성 모델이 아직 잘 못하는 일을 해냅니다. 낭독이 아니라 대화처럼 들립니다. 운율 제어는 두 단계로 작동합니다. [oral_2][laugh_0][break_6] 같은 문장 단위 프롬프트로 목소리가 얼마나 수다스럽고, 웃고, 쉬는지를 정하고, 단어 단위 토큰으로 웃음이나 쉼을 원하는 자리에 정확히 넣습니다. 화자를 무작위로 뽑으면 새 목소리가 나오고, 저장한 임베딩으로 같은 목소리를 나중에 다시 불러올 수 있습니다.
주의할 점: 공개 모델은 팀이 설명하는 그 모델이 아닙니다. 파인튜닝 없는 40,000시간 기반 모델이고, 주력 모델은 100,000시간 넘게 학습했으며, 저자들은 일부러 고주파 노이즈와 MP3 압축을 더했습니다. FAQ는 화자가 바뀌거나 음질이 떨어지는 등 자기회귀 모델 특유의 불안정성을 인정하고, 여러 번 생성해 하나를 고르라고 권합니다. 지원 언어는 영어와 중국어뿐이며 README는 영어를 실험적이라고 합니다. FAQ에 따르면 30초 클립에 최소 4GB GPU 메모리가 필요하고, RTX 4090에서 실시간 계수는 약 0.3입니다.
유지보수는 최소한의 관리로 줄었습니다. 2026년 4월의 v0.2.5는 최신 Transformers와의 호환 문제를 고치고 DirectML을 일부 지원했습니다. 가중치는 2024년 10월 이후 바뀌지 않았고, 로드맵의 다중 감정 제어는 나오지 않았습니다. 열린 이슈는 약 60개입니다.
결론: ChatTTS는 콘셉트카가 디자인의 방향을 보여 주듯, 대화 운율이 어떻게 들려야 하는지 보여 주는 좋은 기준입니다. 팔 생각이 있는 것이라면 허용적인 라이선스의 모델이 필요합니다.
제 역할을 하는 곳
대학 연구실의 음성 연구자
운율 토큰이 대화의 자연스러움 인식을 어떻게 바꾸는지 비교한다
[laugh]와 [uv_break] 토큰을 넣은 경우와 뺀 경우로 같은 대본을 생성하고, 화자 임베딩을 고정해 운율만 달라지게 한 뒤 청취 실험을 합니다. 학술 용도는 CC BY-NC 4.0으로 무료이며, 4GB GPU 한 대면 됩니다.
로컬에서 중국어로 말하는 동반자 봇을 만드는 애호가
LLM의 답변에 편한 대화처럼 들리는 목소리를 입힌다
저장한 화자 임베딩과 일관성을 위한 낮은 temperature로 LLM 텍스트를 chat.infer에 넘깁니다. 개인적 비상업 용도로만 쓸 수 있으며, 불안정한 클립은 가끔 다시 생성해야 합니다.
도입 전 확인할 점
- 설정
- pip install ChatTTS(또는 저장소를 클론해 requirements.txt 설치, conda 예제는 Python 3.11). chat.load()가 Hugging Face에서 가중치를 내려받습니다. examples/web/webui.py는 로컬 웹 UI를 띄우고 examples/cmd/run.py는 MP3 파일을 씁니다.
- 연동
- 배치 추론을 지원하는 Python API, Linux에서 선택적 vLLM, 스트리밍 생성, Hugging Face의 가중치. 커뮤니티 프런트엔드는 메인 저장소가 아니라 Awesome-ChatTTS 목록에 있습니다.
- 데이터와 개인정보
- 완전히 로컬에서 실행되며 텍스트를 어디에도 보내지 않습니다. 코드는 AGPLv3+, 가중치는 CC BY-NC 4.0이며 README에 따르면 학술·연구 용도입니다. 저자들은 생성 음성 탐지 모델을 학습했다고 하지만 공개하지 않았습니다.
- 대규모 사용 시 비용
- 유료 판도 상업용 라이선스도 없으므로 합법적인 프로덕션 비용을 제시할 수 없습니다. FAQ에 따르면 연구 용도에도 최소 4GB GPU가 필요합니다.
- 제한
- 영어와 중국어만 지원하며 영어는 실험적입니다. 단어 단위 토큰은 [laugh], [uv_break], [lbreak]뿐입니다. 자기회귀 불안정성 때문에 재생성이 필요합니다. RTX 4090에서 실시간 계수는 약 0.3입니다. README는 TransformerEngine과 FlashAttention-2를 설치하지 말라고 표시합니다.
좋은 점
- 문장과 단어 단위로 웃음, 쉼, 구어체 정도를 제어
- 대화에 맞춘 운율로, 저자들은 대부분의 오픈 TTS 모델보다 낫다고 평가
- 무작위 화자 생성과 재사용 가능한 음성 임베딩
- pip install ChatTTS로 설치하며 웹 UI와 명령줄 예제 제공
아쉬운 점
- 가중치는 CC BY-NC 4.0으로 상업적 이용 불가, 유료 라이선스도 없음
- AGPLv3+ 코드는 수정한 네트워크 서비스의 소스 공개를 요구
- 공개 모델은 의도적 노이즈와 MP3 압축을 더한 40,000시간 기반 모델
- 영어는 실험적이며 가중치는 2024년 10월 이후 그대로
추천 대상
중국어나 영어 대화 음성을 연구하며, 결과물을 상업 제품에 절대 쓰지 않을 연구자와 애호가.
ChatTTS 대안
ChatTTS: 자주 묻는 질문
- ChatTTS, 쓸 만한 가치가 있습니까?
- ChatTTS는 여전히 연구용 음성 에이전트에 중국어와 영어로 설득력 있는 웃음과 쉼을 주지만, 비상업용 가중치, 의도적인 음질 저하, 2024년 이후 그대로인 모델 때문에 제품에는 쓸 수 없습니다. 평점은 5점 만점에 3.4점입니다.
- ChatTTS의 가격은 얼마입니까?
- 무료입니다. 코드는 AGPLv3+, 모델 가중치는 CC BY-NC 4.0이므로 상업적 이용은 불가합니다. 유료 또는 상업용 라이선스는 공개되어 있지 않습니다.
- ChatTTS의 단점은 무엇입니까?
- 가중치는 CC BY-NC 4.0으로 상업적 이용 불가, 유료 라이선스도 없음; AGPLv3+ 코드는 수정한 네트워크 서비스의 소스 공개를 요구; 공개 모델은 의도적 노이즈와 MP3 압축을 더한 40,000시간 기반 모델; 영어는 실험적이며 가중치는 2024년 10월 이후 그대로.
- ChatTTS에 적합한 사람은 누구입니까?
- 중국어나 영어 대화 음성을 연구하며, 결과물을 상업 제품에 절대 쓰지 않을 연구자와 애호가.
- 팀이나 프로덕션 환경에서 ChatTTS의 비용은 얼마입니까?
- 유료판도 상업용 라이선스도 없으므로 합법적인 프로덕션 비용을 제시할 수 없습니다. FAQ에 따르면 연구 용도에도 최소 4GB GPU가 필요합니다.
- ChatTTS에 회사 데이터를 맡겨도 안전합니까?
- 완전히 로컬에서 실행되며 텍스트를 어디에도 보내지 않습니다. 코드는 AGPLv3+, 가중치는 CC BY-NC 4.0이며 README에 따르면 학술·연구 용도입니다. 저자들은 생성 음성 탐지 모델을 학습했다고 하지만 공개하지 않았습니다.
- ChatTTS의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 VibeVoice 및 audio.cpp입니다.
답변 확인일: 2026년 11월 14일.