¿Qué es OmniVoice?
OmniVoice es un modelo abierto de texto a voz del proyecto k2-fsa (Next-gen Kaldi), publicado en Hugging Face a finales de marzo de 2026 con un artículo en arXiv el 1 de abril. Clona una voz a partir de un clip de referencia de 3 a 10 segundos, diseña una voz a partir de atributos como el género, la edad, el tono, el acento o el susurro, y acepta etiquetas no verbales como [laughter] y correcciones de fonemas o de pinyin.
Su argumento es la cobertura: más de 600 idiomas, entrenado con 581.000 horas de audio seleccionado de datos de código abierto. En cuanto a arquitectura, es un modelo de una sola etapa y no autorregresivo, al estilo de un modelo de lenguaje de difusión, inicializado a partir de Qwen3-0.6B, que convierte el texto directamente en tokens acústicos. El checkpoint principal tiene unos 613 millones de parámetros y genera audio a 24 kHz.
El código es Apache 2.0, pero el tokenizador de audio que lo acompaña lleva la Higgs Audio 2 Community License de Boson AI. La última versión del paquete es la 0.2.1 (16 de julio de 2026), y los pesos suman unos 2,3 millones de descargas.
¿Merece la pena OmniVoice?
La baza de OmniVoice es la amplitud: más de 600 idiomas en un solo modelo zero-shot, cuando la mayoría de sus rivales abiertos, como Chatterbox, Kokoro y Qwen3-TTS, cubren como mucho unas pocas decenas. Para un producto que tiene que hablar yoruba, jemer o un dialecto regional del árabe, es una de las muy pocas opciones abiertas.
También es rápido. El proyecto indica un factor de tiempo real de tan solo 0,025, unas 40 veces más rápido que el tiempo real, y su propia prueba en H100 con el conjunto de prueba chino de Seed-TTS muestra 0,0899 con un tamaño de lote de 1, que baja a 0,0115 con un tamaño de lote de 8 usando FlashInfer. Con unos 613 millones de parámetros funciona en CUDA, Apple Silicon e Intel Arc, y los mantenedores dicen haberlo probado en una Arc A310 de 4 GB.
La pega es la licencia. El código del modelo es Apache 2.0, pero el tokenizador de audio que se distribuye con los pesos está bajo la Higgs Audio 2 Community License de Boson AI, basada en la licencia de Llama 3. Exige un aviso 'Built with Higgs Materials', y cualquier servicio con más de 100.000 usuarios activos anuales debe solicitar una licencia ampliada que Boson puede denegar. Es un techo mucho más bajo que los 700 millones de Llama.
Las afirmaciones de calidad que van más allá de la velocidad y la cobertura son de los propios autores. El artículo presenta resultados punteros en pruebas en chino, en inglés y multilingües, pero no encontramos ninguna entrada en clasificaciones independientes, y el README advierte de que la clonación entre idiomas arrastra el acento del hablante de referencia y de que las cifras se leen mejor una vez normalizadas a palabras.
Dónde se gana su sitio
Una ONG que monta una línea telefónica de información sanitaria para zonas rurales de África Oriental
Leer mensajes guionizados en idiomas locales con una voz coherente
Clona a un narrador a partir de un clip breve y genera los mensajes sin conexión en una sola GPU; la base de usuarios está muy por debajo del umbral de 100.000 usuarios activos anuales, así que la licencia comunitaria lo cubre.
Un ingeniero de localización en una empresa de formación en línea
Preparar borradores de locuciones en 20 idiomas antes de contratar narradores nativos
Genera por lotes con la CLI de omnivoice en una H100 con un factor de tiempo real cercano a 0,01; el coste son horas de GPU, y los borradores permiten a los revisores detectar pronto problemas en el guion.
Una app de consumo con dos millones de usuarios mensuales
Añadir respuestas de voz multilingües
Por encima de 100.000 usuarios activos anuales, la licencia Higgs Audio 2 exige el permiso de Boson, así que negocia antes una licencia ampliada o elige un modelo con licencia Apache o MIT.
Antes de decidirte
- Puesta en marcha
- Instala PyTorch para tu acelerador y después pip install omnivoice; omnivoice-demo arranca una interfaz web local, y un Space de Hugging Face y un cuaderno de Colab no requieren instalación.
- Integraciones
- API de Python y herramientas de línea de comandos; pesos en Hugging Face; Whisper transcribe automáticamente el clip de referencia si omites su texto; las instrucciones de clonación de voz reutilizables se pueden guardar en disco.
- Datos y privacidad
- Autoalojado, así que el audio se queda en tu hardware. El código es Apache 2.0; la Higgs Audio 2 Community License del tokenizador de audio exige atribución y una licencia ampliada por encima de 100.000 usuarios activos anuales. El README prohíbe la clonación no autorizada y la suplantación.
- Coste a escala
- Sin tarifas de API. Con la cifra de los autores para lotes de 8, un factor de tiempo real de 0,0115 en una H100, una hora de voz requiere menos de un minuto de GPU.
- Límites
- Los clips de referencia de más de 10 segundos ralentizan la inferencia y pueden empeorar la calidad; la clonación entre idiomas conserva un acento; flash attention no está disponible en Intel XPU; no se han encontrado resultados en clasificaciones independientes.
Lo bueno
- Más de 600 idiomas en un solo modelo
- Clonación de voz a partir de 3 a 10 segundos y diseño de voz a partir de atributos
- Factor de tiempo real de tan solo 0,025 según las cifras de los autores
- Funciona en CUDA, Apple Silicon e Intel Arc
Lo malo
- La licencia del tokenizador limita el uso libre a 100.000 usuarios activos anuales
- Las afirmaciones de calidad son autodeclaradas
- La clonación entre idiomas arrastra el acento de referencia
- Los autores no ofrecen API alojada
Ideal para
Desarrolladores que necesitan voz abierta y autoalojada en idiomas que los líderes comerciales y abiertos no cubren.
Alternativas a OmniVoice
OmniVoice: preguntas frecuentes
- ¿Merece la pena OmniVoice?
- OmniVoice es el modelo TTS abierto al que recurrir cuando el idioma no está en la lista de nadie más, siempre que tu abogado lea la licencia del tokenizador. Le damos un 4.0 sobre 5.
- ¿Cuánto cuesta OmniVoice?
- Pesos gratuitos; código bajo Apache 2.0, tokenizador de audio bajo la Boson Higgs Audio 2 Community License (se necesita una licencia ampliada por encima de 100.000 usuarios activos anuales).
- ¿Qué inconvenientes tiene OmniVoice?
- La licencia del tokenizador limita el uso libre a 100.000 usuarios activos anuales; las afirmaciones de calidad son autodeclaradas; la clonación entre idiomas arrastra el acento de referencia; los autores no ofrecen API alojada.
- ¿Para quién es OmniVoice?
- Desarrolladores que necesitan voz abierta y autoalojada en idiomas que los líderes comerciales y abiertos no cubren.
- ¿Cuánto cuesta OmniVoice para un equipo o en producción?
- Sin tarifas de API. Con la cifra de los autores para lotes de 8, un factor de tiempo real de 0,0115 en una H100, una hora de voz requiere menos de un minuto de GPU.
- ¿Es OmniVoice seguro para los datos de la empresa?
- Autoalojado, así que el audio se queda en tu hardware. El código es Apache 2.0; la Higgs Audio 2 Community License del tokenizador de audio exige atribución y una licencia ampliada por encima de 100.000 usuarios activos anuales. El README prohíbe la clonación no autorizada y la suplantación.
- ¿Cuáles son las mejores alternativas a OmniVoice?
- Las alternativas más cercanas que hemos analizado son Chatterbox, Qwen3-TTS, Kokoro-82M y Eleven v4 and v4 Turbo.
Respuestas comprobadas el 26 oct 2026.