YuE2-3B의 개요
YuE2-3B는 원조 YuE를 만든 연구 커뮤니티 Multimodal Art Projection(M-A-P)의 오픈 음악 모델입니다. 스타일 프롬프트와 가사로 보컬과 반주가 있는 완성곡을 48 kHz 스테레오로 만듭니다. 오디오를 렌더링하기 전에 멜로디와 코드가 담긴 ABC 악보라는 기호 계획을 먼저 쓰며, 이를 내보내 직접 또는 AI 에이전트로 편집한 뒤 다시 넣을 수 있습니다.
가중치는 2026년 9월 상업적 이용을 금지하는 CC BY-NC 4.0으로 Hugging Face에 공개되었습니다. GitHub의 코드 저장소는 Apache-2.0입니다. 모델 카드의 데모는 최대 5:00 길이이며 영어와 중국어(표준어)입니다. 커버도 만듭니다. 기존 곡의 멜로디를 보조 모델 SheetSage2로 채보하면 YuE2가 새 스타일로 부릅니다.
YuE2-3B, 쓸 만한 가치가 있습니까?
YuE2-3B는 수치상 오픈 모델 중 가장 높은 평가를 받는 노래를 만들지만, 그 노래를 팔 수는 없습니다. 저자들이 만든 192개 프롬프트 벤치마크 WildSongBench에서 8개 테이크 중 최고를 고르는 YuE2는 SongBench 평균 6.9632를 기록해, Suno v5(6.8721)와 Mureka 9(6.9377)를 포함한 테스트 대상 상용 모델을 모두 앞섰습니다. 2개 테이크 중에서 고를 때도 6.7316으로 MiniMax Music 3(6.2830)와 ACE-Step 1.5(6.0118)보다 높습니다. 모두 저자들이 자기 벤치마크에서 낸 수치입니다.
가장 큰 특징은 악보입니다. YuE2는 먼저 ABC 표기법으로 멜로디와 코드를 쓰고, 그 계획에서 오디오를 생성합니다. 계획 단계에서 멈추고 코드나 프레이즈를 바꾼 뒤 같은 시드로 다시 렌더링할 수 있어, 수정하면 요청한 부분만 바뀌고 곡 전체가 바뀌지 않습니다. 데모에서는 에이전트가 한 곡을 9단계, 14개 버전에 걸쳐 다듬습니다. 같은 방식으로 원곡 멜로디를 유지하는 커버도 만듭니다. 원곡 악보를 주었을 때 SHS100K 테스트에서 원곡으로 식별된 비율은 71.3%로, ACE-Step 1.5의 2.4%를 크게 앞섰습니다.
소비자용 카드 한 장으로도 쓸 만합니다. RTX 4090에서 3.6분 길이의 곡이 71초 만에 생성되었고 VRAM 최대 사용량은 11.18 GiB였습니다. 카드는 24 GB GPU와 24 GB의 여유 시스템 메모리를 요구합니다. 별도의 vLLM 서버는 H800 한 대에서 동시 요청 32개일 때 시간당 373.53곡을 처리했습니다.
주의할 점: CC BY-NC 4.0은 누가 가중치를 돌리든 광고, 게임, 앱 등 돈을 버는 모든 용도를 금지합니다. 빠른 시작 가이드는 Linux와 BF16을 지원하는 NVIDIA 전용이고, 카드에 적힌 언어는 영어와 중국어뿐입니다. 가사는 잘 들리지만 가장 또렷하지는 않아, 음소 오류율 8.44%는 MiniMax Music 3의 6.27%보다 높습니다.
결론: 연구자, 취미로 만드는 사람, 자신을 위해 노래를 쓰는 사람에게는 편집 가능한 악보 덕분에 YuE2가 가장 통제하기 쉬운 오픈 선택지입니다. 곡이 고객이나 스토어로 향하는 순간, 라이선스 때문에 MiniMax Music 3나 ACE-Step 1.5로 옮겨야 합니다.
제 역할을 하는 곳
대학의 음악 기술 연구실
AI 노래 생성기를 비교하고 통제 가능한 작곡을 연구하기
YuE2의 ABC 계획을 내보내 통제된 조건에서 화성이나 멜로디를 바꾸고 고정 시드로 다시 렌더링합니다. CC BY-NC 라이선스는 학술 연구를 허용하며, WildSongBench 프롬프트는 Hugging Face에 공개되어 있습니다.
RTX 4090을 가진 취미 송라이터
자기 가사를 여러 장르의 데모로 들어 보기
cot="full"로 파이프라인을 실행하고 score.abc를 편집해 후렴 멜로디를 고친 뒤 다시 렌더링합니다. 3~4분 길이의 곡에 약 1분이 걸리며, 어떤 데이터도 컴퓨터 밖으로 나가지 않습니다.
연습 자료를 준비하는 합창 지휘자
퍼블릭 도메인 캐럴을 새 편곡으로 들어 보기
SheetSage2로 멜로디를 채보하고 cot="melody"와 새 스타일 프롬프트로 입력합니다. 연습과 교육용으로는 괜찮지만 유료 녹음에는 쓸 수 없습니다.
도입 전 확인할 점
- 설정
- Python 3.10 이상의 Linux에서 Hugging Face 저장소의 yue2_infer wheel을 설치하고 YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B")를 불러옵니다. 기본 디코더 YuE2-Vae는 따로 내려받습니다.
- 연동
- 계획, 시맨틱, 합성, 디코딩 단계가 분리된 Python 파이프라인, 배치 모드가 있는 명령줄 도구 yue2, 동시 요청용 vLLM 기반 서버, 멜로디 채보용 SheetSage2.
- 데이터와 개인정보
- 로컬에서 실행되며 프롬프트와 오디오가 내 컴퓨터에 남습니다. 모델 카드는 학습 데이터를 설명하지 않습니다.
- 대규모 사용 시 비용
- 라이선스 비용은 없지만 어떤 규모에서도 상업적 이용은 허용되지 않습니다. 카드에 따르면 H800 한 대에서 동시 요청 32개일 때 시간당 373.53곡입니다.
- 제한
- Hugging Face 파이프라인에서는 한 번에 한 곡만 처리합니다. 24 GB GPU와 24 GB 시스템 메모리가 필요합니다. Linux와 BF16 지원 NVIDIA 전용입니다. 커버에는 따로 채보한 멜로디와 가사가 필요합니다.
좋은 점
- 저자들에 따르면 WildSongBench 최고 SongBench 평균(best-of-8 기준 6.9632)
- 편집 가능한 ABC 악보: 멜로디나 코드를 바꿔 다시 렌더링
- 원곡 멜로디를 유지하는 커버(SHS100K 식별률 71.3%)
- 48 kHz 스테레오. RTX 4090에서 3.6분 곡을 71초에 생성
- 카드 테스트 기준 VRAM 최대 약 11 GiB
아쉬운 점
- CC BY-NC 4.0: 상업적 이용 불가
- Linux와 BF16 지원 NVIDIA GPU 전용
- 벤치마크를 저자들이 직접 수행
- 명시된 언어는 영어와 중국어뿐
- 호스팅 API 없음
추천 대상
곡을 새로 생성하기보다 멜로디와 코드를 고치고 싶은, 비상업적으로 작업하는 연구자, 취미 제작자, 송라이터.
YuE2-3B 대안
YuE2-3B: 자주 묻는 질문
- YuE2-3B, 쓸 만한 가치가 있습니까?
- YuE2-3B는 악보를 음 하나하나 편집할 수 있어 연구하고 실험하기에 좋은 오픈 노래 모델이지만, 비상업용 라이선스 때문에 판매하는 어떤 것에도 쓸 수 없습니다. 평점은 5점 만점에 4.0점입니다.
- YuE2-3B의 가격은 얼마입니까?
- CC BY-NC 4.0에 따라 가중치는 무료이며 비상업적 이용만 가능합니다. 호스팅 API는 없고 GPU 비용은 직접 부담합니다.
- YuE2-3B의 단점은 무엇입니까?
- CC BY-NC 4.0: 상업적 이용 불가; Linux와 BF16 지원 NVIDIA GPU 전용; 벤치마크를 저자들이 직접 수행; 명시된 언어는 영어와 중국어뿐; 호스팅 API 없음.
- YuE2-3B에 적합한 사람은 누구입니까?
- 곡을 새로 생성하기보다 멜로디와 코드를 고치고 싶은, 비상업적으로 작업하는 연구자, 취미 제작자, 송라이터.
- 팀이나 프로덕션 환경에서 YuE2-3B의 비용은 얼마입니까?
- 라이선스 비용은 없지만 어떤 규모에서도 상업적 이용은 허용되지 않습니다. 카드에 따르면 H800 한 대에서 동시 요청 32개일 때 시간당 373.53곡입니다.
- YuE2-3B에 회사 데이터를 맡겨도 안전합니까?
- 로컬에서 실행되며 프롬프트와 오디오가 내 컴퓨터에 남습니다. 모델 카드는 학습 데이터를 설명하지 않습니다.
- YuE2-3B의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 MiniMax Music 3, ACE-Step 1.5 및 Lyria 3.5입니다.
답변 확인일: 2026년 11월 7일.
YuE2-3B 개발사입니까? 이 평점을 사이트에 표시하십시오
