Was ist OmniVoice?
OmniVoice ist ein offenes Text-to-Speech-Modell aus dem Projekt k2-fsa (Next-gen Kaldi), Ende März 2026 auf Hugging Face veröffentlicht, mit einem Paper auf arXiv vom 1. April. Es klont eine Stimme aus einem Referenzclip von 3 bis 10 Sekunden, entwirft eine Stimme aus Merkmalen wie Geschlecht, Alter, Tonhöhe, Akzent oder Flüstern und versteht nonverbale Tags wie [laughter] sowie Korrekturen per Phonem oder Pinyin.
Sein Anspruch ist die Abdeckung: mehr als 600 Sprachen, trainiert mit 581.000 Stunden Audio, kuratiert aus Open-Source-Daten. Architektonisch ist es ein einstufiges, nicht autoregressives Modell im Stil eines Diffusion Language Model, initialisiert aus Qwen3-0.6B, das Text direkt auf akustische Tokens abbildet. Der Haupt-Checkpoint hat etwa 613 Millionen Parameter und gibt Audio mit 24 kHz aus.
Der Code steht unter Apache 2.0, der mitgelieferte Audio-Tokenizer aber unter der Higgs Audio 2 Community License von Boson AI. Das jüngste Paket-Release ist 0.2.1 (16. Juli 2026), und die Gewichte haben etwa 2,3 Millionen Downloads.
Lohnt sich OmniVoice?
OmniVoice setzt auf Breite: mehr als 600 Sprachen in einem Zero-Shot-Modell, während die meisten offenen Konkurrenten wie Chatterbox, Kokoro und Qwen3-TTS höchstens ein paar Dutzend abdecken. Für ein Produkt, das Yoruba, Khmer oder einen regionalen arabischen Dialekt sprechen muss, ist es eine der ganz wenigen offenen Optionen.
Es ist außerdem schnell. Das Projekt meldet einen Echtzeitfaktor von bis zu 0,025, etwa 40-mal schneller als Echtzeit, und sein eigener H100-Benchmark auf dem chinesischen Testset von Seed-TTS zeigt 0,0899 bei Batch-Größe 1 und 0,0115 bei Batch-Größe 8 mit FlashInfer. Mit rund 613 Millionen Parametern läuft es auf CUDA, Apple Silicon und Intel Arc, und die Maintainer berichten von Tests auf einer Arc A310 mit 4 GB.
Der Haken ist die Lizenz. Der Modellcode steht unter Apache 2.0, aber der mit den Gewichten ausgelieferte Audio-Tokenizer fällt unter die Higgs Audio 2 Community License von Boson AI, die auf der Lizenz von Llama 3 aufbaut. Sie verlangt einen Hinweis 'Built with Higgs Materials', und jeder Dienst mit mehr als 100.000 jährlich aktiven Nutzern muss eine erweiterte Lizenz beantragen, die Boson verweigern kann. Das ist eine viel niedrigere Grenze als die 700 Millionen bei Llama.
Qualitätsangaben jenseits von Tempo und Abdeckung stammen von den Autoren selbst. Das Paper meldet Spitzenergebnisse auf chinesischen, englischen und mehrsprachigen Benchmarks, wir fanden aber keinen Eintrag auf einer unabhängigen Rangliste. Die README warnt zudem, dass sprachübergreifendes Klonen den Akzent der Referenzperson mitnimmt und dass Ziffern besser klingen, wenn sie vorher in Wörter umgewandelt werden.
Wo es sich lohnt
Eine NGO, die eine Gesundheits-Hotline für das ländliche Ostafrika aufbaut
Vorbereitete Ansagen in lokalen Sprachen mit einheitlicher Stimme vorlesen
Klone eine Sprecherin aus einem kurzen Clip und erzeuge die Ansagen offline auf einer einzelnen GPU; die Nutzerzahl liegt weit unter der Grenze von 100.000 jährlich aktiven Nutzern, die Community-Lizenz deckt das also ab.
Ein Lokalisierungs-Engineer bei einem E-Learning-Unternehmen
Voice-overs in 20 Sprachen als Entwurf erstellen, bevor muttersprachliche Sprecher gebucht werden
Erzeuge sie im Batch mit der omnivoice-CLI auf einer H100 bei einem Echtzeitfaktor nahe 0,01; die Kosten sind GPU-Stunden, und mit den Entwürfen finden Prüfer Probleme im Skript früh.
Eine Consumer-App mit zwei Millionen monatlichen Nutzern
Mehrsprachige gesprochene Antworten hinzufügen
Ab 100.000 jährlich aktiven Nutzern verlangt die Higgs-Audio-2-Lizenz eine Genehmigung von Boson; verhandle also zuerst eine erweiterte Lizenz oder wähle ein Modell unter Apache- oder MIT-Lizenz.
Bevor du dich festlegst
- Einrichtung
- Installiere PyTorch für deinen Beschleuniger, dann pip install omnivoice; omnivoice-demo startet eine lokale Web-Oberfläche, und ein Hugging Face Space sowie ein Colab-Notebook brauchen gar keine Installation.
- Integrationen
- Python-API und Kommandozeilenwerkzeuge; Gewichte auf Hugging Face; Whisper transkribiert den Referenzclip automatisch, wenn du seinen Text weglässt; wiederverwendbare Voice-Clone-Prompts lassen sich auf der Platte speichern.
- Daten und Datenschutz
- Selbst gehostet, das Audio bleibt also auf deiner Hardware. Der Code steht unter Apache 2.0; die Higgs Audio 2 Community License des Audio-Tokenizers verlangt Namensnennung und ab 100.000 jährlich aktiven Nutzern eine erweiterte Lizenz. Die README verbietet unerlaubtes Klonen und Identitätsvortäuschung.
- Kosten im großen Maßstab
- Keine API-Gebühren. Beim Wert der Autoren für Batch 8, einem Echtzeitfaktor von 0,0115 auf einer H100, braucht eine Stunde Sprache weniger als eine Minute GPU-Zeit.
- Grenzen
- Referenzclips über 10 Sekunden verlangsamen die Inferenz und können die Qualität verschlechtern; sprachübergreifendes Klonen behält einen Akzent; Flash Attention ist auf Intel XPU nicht verfügbar; keine Ergebnisse auf unabhängigen Ranglisten gefunden.
Was gut ist
- Mehr als 600 Sprachen in einem Modell
- Voice Cloning aus 3 bis 10 Sekunden und Voice Design aus Merkmalen
- Echtzeitfaktor von bis zu 0,025 nach Angaben der Autoren
- Läuft auf CUDA, Apple Silicon und Intel Arc
Was nicht
- Die Tokenizer-Lizenz begrenzt die freie Nutzung auf 100.000 jährlich aktive Nutzer
- Qualitätsangaben sind selbst gemeldet
- Sprachübergreifendes Klonen übernimmt den Akzent der Referenz
- Keine gehostete API der Autoren
Am besten für
Entwickler, die offene, selbst gehostete Sprachausgabe in Sprachen brauchen, die weder die kommerziellen noch die offenen Marktführer abdecken.
Alternativen zu OmniVoice
OmniVoice: häufige Fragen
- Lohnt sich OmniVoice?
- OmniVoice ist das offene TTS-Modell der Wahl, wenn die Sprache auf keiner anderen Liste steht, vorausgesetzt, deine Rechtsabteilung liest die Tokenizer-Lizenz. Wir bewerten es mit 4.0 von 5.
- Was kostet OmniVoice?
- Kostenlose Gewichte; Code unter Apache 2.0, Audio-Tokenizer unter der Boson Higgs Audio 2 Community License (ab 100.000 jährlich aktiven Nutzern ist eine erweiterte Lizenz nötig).
- Welche Nachteile hat OmniVoice?
- Die Tokenizer-Lizenz begrenzt die freie Nutzung auf 100.000 jährlich aktive Nutzer; Qualitätsangaben sind selbst gemeldet; Sprachübergreifendes Klonen übernimmt den Akzent der Referenz; Keine gehostete API der Autoren.
- Für wen eignet sich OmniVoice?
- Entwickler, die offene, selbst gehostete Sprachausgabe in Sprachen brauchen, die weder die kommerziellen noch die offenen Marktführer abdecken.
- Was kostet OmniVoice für ein Team oder im Produktivbetrieb?
- Keine API-Gebühren. Beim Wert der Autoren für Batch 8, einem Echtzeitfaktor von 0,0115 auf einer H100, braucht eine Stunde Sprache weniger als eine Minute GPU-Zeit.
- Ist OmniVoice sicher für Firmendaten?
- Selbst gehostet, das Audio bleibt also auf deiner Hardware. Der Code steht unter Apache 2.0; die Higgs Audio 2 Community License des Audio-Tokenizers verlangt Namensnennung und ab 100.000 jährlich aktiven Nutzern eine erweiterte Lizenz. Die README verbietet unerlaubtes Klonen und Identitätsvortäuschung.
- Was sind die besten Alternativen zu OmniVoice?
- Die nächsten Alternativen, die wir getestet haben, sind Chatterbox, Qwen3-TTS, Kokoro-82M und Eleven v4 and v4 Turbo.
Antworten geprüft am 26. Okt. 2026.