Was ist YuE2-3B?
YuE2-3B ist ein offenes Musikmodell der Forschungsgemeinschaft Multimodal Art Projection (M-A-P), der Gruppe hinter dem ursprünglichen YuE. Es macht aus einem Stil-Prompt und einem Liedtext einen kompletten Song mit Gesang und Begleitung in Stereo mit 48 kHz. Bevor es Audio rendert, schreibt es einen symbolischen Plan, eine ABC-Partitur mit Melodie und Akkorden, die du exportieren, von Hand oder mit einem KI-Agenten bearbeiten und wieder einspeisen kannst.
Die Gewichte erschienen im September 2026 auf Hugging Face unter CC BY-NC 4.0, die kommerzielle Nutzung verbietet; das Code-Repository auf GitHub steht unter Apache-2.0. Die Demos der Modellkarte laufen bis 5:00, auf Englisch und Mandarin. Es macht auch Coverversionen: Transkribiere die Melodie eines bestehenden Songs mit dem Begleitmodell SheetSage2, und YuE2 singt sie in einem neuen Stil.
Lohnt sich YuE2-3B?
YuE2-3B macht auf dem Papier die am besten bewerteten Songs aller offenen Modelle, und du darfst sie nicht verkaufen. Auf WildSongBench, dem Benchmark seiner Autoren mit 192 Prompts, erreichte YuE2 bei Auswahl des besten von acht Takes einen SongBench-Durchschnitt von 6,9632, vor allen getesteten proprietären Modellen, darunter Suno v5 mit 6,8721 und Mureka 9 mit 6,9377. Bei Auswahl aus zwei Takes kam es auf 6,7316, immer noch vor MiniMax Music 3 (6,2830) und ACE-Step 1.5 (6,0118). Das sind die Zahlen der Autoren auf ihrem eigenen Benchmark.
Sein besonderes Merkmal ist die Partitur. YuE2 schreibt zuerst Melodie und Akkorde in ABC-Notation und erzeugt dann aus diesem Plan das Audio. Du kannst nach der Planung anhalten, einen Akkord oder eine Phrase ändern und mit demselben Seed neu rendern, sodass eine Überarbeitung ändert, worum du gebeten hast, und nicht den ganzen Song. Die Demo zeigt einen Agenten, der einen Song durch 9 Schritte und 14 Versionen führt. Derselbe Mechanismus macht Coverversionen, die die Originalmelodie behalten: Mit der Quellpartitur erkannte der Test SHS100K den Originalsong in 71,3 % der Fälle, gegenüber 2,4 % bei ACE-Step 1.5.
Es ist auf einer einzelnen Consumer-Karte praktikabel. Auf einer RTX 4090 dauert ein 3,6-Minuten-Song 71 Sekunden bei 11,18 GiB VRAM-Spitze; die Karte verlangt eine 24-GB-GPU und 24 GB freien Arbeitsspeicher. Ein separater vLLM-Server auf einer H800 schaffte 373,53 Songs pro Stunde bei 32 gleichzeitigen Anfragen.
Der Haken: CC BY-NC 4.0 schließt Werbung, Spiele, Apps und alles andere aus, das Geld einbringt, egal wer die Gewichte betreibt. Der Schnellstart ist nur Linux und NVIDIA mit BF16-Unterstützung, und die Karte nennt nur Englisch und Mandarin. Der Text ist gut verständlich, aber nicht am besten: Seine Phonem-Fehlerrate von 8,44 % liegt über den 6,27 % von MiniMax Music 3.
Unser Fazit: Für Forschende, Hobbyisten und alle, die Songs für sich selbst schreiben, macht die editierbare Partitur YuE2 zur am besten steuerbaren offenen Option; sobald ein Track an einen Kunden oder in einen Store geht, schickt dich die Lizenz zu MiniMax Music 3 oder ACE-Step 1.5.
Wo es sich lohnt
Ein Musiktechnologie-Labor an einer Universität
KI-Song-Generatoren vergleichen und steuerbare Komposition erforschen
Exportiere die ABC-Pläne von YuE2, ändere Harmonie oder Melodie unter kontrollierten Bedingungen und rendere mit festen Seeds neu; die CC-BY-NC-Lizenz deckt akademische Forschung ab, und die WildSongBench-Prompts sind auf Hugging Face öffentlich.
Ein Hobby-Songwriter mit einer RTX 4090
Demoversionen der eigenen Texte in verschiedenen Genres hören
Starte die Pipeline mit cot="full", bearbeite score.abc, um eine Refrain-Melodie zu korrigieren, und rendere neu; ein Song von drei bis vier Minuten dauert etwa eine Minute, und nichts verlässt den Rechner.
Eine Chorleiterin, die Probenmaterial vorbereitet
Ein gemeinfreies Weihnachtslied in neuem Arrangement hören
Transkribiere die Melodie mit SheetSage2 und gib sie mit cot="melody" und einem neuen Stil-Prompt ein; gut für Proben und Unterricht, nicht für eine bezahlte Aufnahme.
Bevor du dich festlegst
- Einrichtung
- Installiere unter Linux mit Python 3.10+ das yue2_infer-Wheel aus dem Hugging-Face-Repo und lade YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B"); der Standard-Decoder YuE2-Vae wird separat heruntergeladen.
- Integrationen
- Python-Pipeline mit getrennten Stufen für Plan, Semantik, Synthese und Dekodierung; Kommandozeilen-Tool yue2 mit Batch-Modus; vLLM-basierter Server für parallele Anfragen; SheetSage2 für Melodie-Transkription.
- Daten und Datenschutz
- Läuft lokal; Prompts und Audio bleiben auf deinem Rechner. Die Modellkarte beschreibt die Trainingsdaten nicht.
- Kosten im großen Maßstab
- Keine Lizenzgebühr, aber kommerzielle Nutzung ist in keinem Umfang erlaubt. Die Karte nennt 373,53 Songs pro Stunde auf einer H800 bei 32 gleichzeitigen Anfragen.
- Grenzen
- Ein Song nach dem anderen in der Hugging-Face-Pipeline; braucht eine 24-GB-GPU und 24 GB Arbeitsspeicher; Linux und NVIDIA mit BF16; Coverversionen brauchen eine separat transkribierte Melodie und den Text.
Was gut ist
- Höchster SongBench-Durchschnitt auf WildSongBench (6,9632 mit Best-of-8), laut seinen Autoren
- Editierbare ABC-Partitur: Melodie oder Akkorde ändern und neu rendern
- Coverversionen, die die Originalmelodie behalten (71,3 % Erkennung auf SHS100K)
- Stereo mit 48 kHz; ein 3,6-Minuten-Song in 71 Sekunden auf einer RTX 4090
- VRAM-Spitze von etwa 11 GiB in den Tests der Karte
Was nicht
- CC BY-NC 4.0: keine kommerzielle Nutzung
- Nur Linux und NVIDIA-GPUs mit BF16
- Benchmarks von den eigenen Autoren
- Nur Englisch und Mandarin aufgeführt
- Keine gehostete API
Am besten für
Forschende, Hobbyisten und Songwriter ohne kommerzielle Absicht, die Melodie und Akkorde eines Songs überarbeiten statt ihn neu erzeugen wollen.
Alternativen zu YuE2-3B
YuE2-3B: häufige Fragen
- Lohnt sich YuE2-3B?
- YuE2-3B ist das offene Song-Modell zum Studieren und Ausprobieren, weil du seine Partitur Note für Note bearbeiten kannst, aber seine nicht kommerzielle Lizenz hält es aus allem heraus, was du verkaufst. Wir bewerten es mit 4.0 von 5.
- Was kostet YuE2-3B?
- Kostenlose Gewichte unter CC BY-NC 4.0: nur nicht kommerzielle Nutzung. Keine gehostete API; du zahlst für deine eigene GPU.
- Welche Nachteile hat YuE2-3B?
- CC BY-NC 4.0: keine kommerzielle Nutzung; Nur Linux und NVIDIA-GPUs mit BF16; Benchmarks von den eigenen Autoren; Nur Englisch und Mandarin aufgeführt; Keine gehostete API.
- Für wen eignet sich YuE2-3B?
- Forschende, Hobbyisten und Songwriter ohne kommerzielle Absicht, die Melodie und Akkorde eines Songs überarbeiten statt ihn neu erzeugen wollen.
- Was kostet YuE2-3B für ein Team oder im Produktivbetrieb?
- Keine Lizenzgebühr, aber kommerzielle Nutzung ist in keinem Umfang erlaubt. Die Karte nennt 373,53 Songs pro Stunde auf einer H800 bei 32 gleichzeitigen Anfragen.
- Ist YuE2-3B sicher für Firmendaten?
- Läuft lokal; Prompts und Audio bleiben auf deinem Rechner. Die Modellkarte beschreibt die Trainingsdaten nicht.
- Was sind die besten Alternativen zu YuE2-3B?
- Die nächsten Alternativen, die wir getestet haben, sind MiniMax Music 3, ACE-Step 1.5 und Lyria 3.5.
Antworten geprüft am 7. Nov. 2026.
Du entwickelst YuE2-3B? Zeig diese Bewertung auf deiner Website
