Qu’est-ce que Haru-4B ?
Haru-4B est un modèle parole-vers-parole full-duplex de higurashi, une start-up japonaise d'IA vocale, publié le 12 novembre 2026 sous Apache 2.0. Full duplex signifie qu'il écoute et parle en même temps, comme on le fait au téléphone, au lieu d'attendre que vous ayez fini votre tour. Toutes les 133 millisecondes, il prend une trame de votre audio et produit une trame de son propre audio et de texte ; les trois flux sont additionnés en une seule position d'un modèle de langage fondé sur Qwen3.5-4B. La parole est représentée par des latents continus de 64 dimensions plutôt que par des tokens audio discrets, et une petite tête MLP produit chacun en une seule étape d'échantillonnage.
Il a été pré-entraîné sur plus de 40 millions d'heures de parole réelle dans plus de 160 langues, dont neuf principales (anglais, espagnol, portugais, allemand, français, chinois, japonais, russe et coréen), y compris plus de 13 millions d'heures de conversations à deux voix séparées, longues de 60 minutes au plus. Une fiche de personnage en texte fixe la personnalité et un extrait de 3 secondes à 3 minutes fixe la voix. Il est publié comme modèle de base pré-entraîné pour la recherche, pas comme assistant.
Haru-4B vaut-il le coup ?
Haru-4B est une tentative ouverte et sérieuse sur la partie la plus difficile de l'IA vocale, parler par-dessus et autour d'une personne comme le font les humains, et la publication fournit l'architecture et les chiffres de latence, mais aucun score de qualité. L'article technique de higurashi décrit des acquiescements, des interruptions et des paroles qui se chevauchent appris sur des enregistrements réels, et exclut délibérément de l'entraînement les dialogues écrits par des LLM et l'audio de synthèse vocale. Il ne publie aucun tableau de benchmarks face à Moshi, MiniCPM-o ou un autre modèle duplex : la qualité de la conversation repose donc sur des démos.
L'ingénierie est le point fort. Sur un MacBook M1 Max, l'application native en Swift mesure environ 65 millisecondes de bout en bout avec des poids int8, dont 34,2ms pour une étape du modèle ; la cadence de 7,5Hz peut ajouter jusqu'à 133ms. Sur une NVIDIA B300, l'encodage et le décodage audio plus une étape du modèle de langage prennent environ 15ms, et le plugin vLLM-Omni sert de nombreuses conversations à la fois. C'est le fonctionnement à 7,5 étapes par seconde avec des latents continus qui rend un modèle de 4B assez rapide pour cela sur un portable.
L'ampleur du pré-entraînement est rare pour une publication ouverte : 40 millions d'heures de parole, entraînées sur 256 GPU NVIDIA B200 pendant environ 8 jours, avec le soutien d'AWS et du programme japonais GENIAC. L'intérêt a été rapide, avec 842 likes sur Hugging Face et 716 étoiles GitHub en quelques jours.
Le hic : c'est un modèle de base. La fiche indique qu'il tient une conversation naturelle mais n'est pas une source fiable de faits et ne suit pas les consignes comme un assistant, et l'entreprise reconnaît que son petit modèle de langage limite la qualité des réponses. Il clone n'importe quelle voix à partir d'un extrait de 3 secondes sans qu'aucun filigrane ne soit mentionné, laissant le consentement à l'utilisateur, et l'option `--share` de la démo ouvre un lien public qui fait transiter l'audio par les serveurs de Gradio.
Notre avis : pour un laboratoire ou une équipe produit qui conçoit un compagnon vocal, Haru-4B est le checkpoint ouvert à affiner sur ses propres enregistrements à deux canaux ; pour une ligne d'assistance qui doit donner des réponses justes, c'est une base à étudier, pas un interlocuteur à mettre au téléphone.
Là où il fait la différence
Un groupe de recherche universitaire en traitement de la parole
Étudier les tours de parole et la parole qui se chevauche dans un modèle ouvert
Faites tourner l'implémentation PyTorch sur un GPU NVIDIA de 12GB et utilisez l'inférence hors ligne pour injecter un audio enregistré trame par trame. Poids, code et architecture sont ouverts ; un rapport technique plus complet et le code d'entraînement sont promis mais pas encore publiés.
Une start-up qui conçoit un compagnon vocal pour pratiquer les langues
Offrir aux apprenants un interlocuteur qui réagit en pleine phrase au lieu d'attendre
Rédigez une fiche de personnage par tuteur et fournissez un extrait de voix sous licence. Prévoyez un affinage avant le lancement, car le modèle de base ne suit pas les consignes ; servez le trafic de production avec le plugin vLLM-Omni.
Un développeur Mac qui prototype une application vocale embarquée
Tester la parole duplex à faible latence sans facture cloud
Compilez l'application native Haru.app depuis l'implémentation MLX avec `./build_app.sh` et utilisez un casque filaire ; l'entreprise annonce environ 65ms de latence sur un M1 Max.
Avant de vous engager
- Mise en route
- `git clone https://github.com/higurashi-ai/Haru`, `pip install -e ./haru`, puis `python -m haru.server --hf-repo higurashi-ai/Haru-4B` et ouvrez localhost:8998 ; vous devez fournir votre propre extrait de voix, aucun n'étant inclus.
- Intégrations
- PyTorch avec un client web React, MLX et une application macOS native en Swift, un plugin de service vLLM-Omni et une commande hors ligne `haru-inference` ; kernels de codec Triton pour GPU NVIDIA.
- Données et confidentialité
- Fonctionne entièrement sur votre matériel, sauf avec `--share`, qui fait transiter l'audio par les serveurs de partage de Gradio vers toute personne disposant du lien. Entraîné sur de la parole réelle nettoyée par la restauration Sidon et séparée en deux canaux par le modèle FastDialogueSidon de l'entreprise ; les sources ne sont pas détaillées.
- Coût à grande échelle
- Aucun coût de licence. Une conversation tient sur un GPU NVIDIA de 12GB ; pour de nombreux appels simultanés, la voie vLLM-Omni vise des GPU de centre de données, où une B300 exécute une étape complète en environ 15ms. La concurrence par GPU n'est pas publiée.
- Limites
- Audio 24kHz en entrée et en sortie, une trame de 133ms à la fois ; voix de référence de 3 secondes à 3 minutes d'un seul locuteur ; pas de benchmarks, pas de suivi des consignes, et le navigateur n'autorise le micro que sur localhost ou en HTTPS.
Les points forts
- Écoute et parle en même temps, avec acquiescements et interruptions
- Environ 65ms de latence de bout en bout sur un MacBook M1 Max, selon l'entreprise
- Apache 2.0 pour les poids comme pour le code
- Neuf langues principales issues de 40 millions d'heures de parole réelle
- Implémentations PyTorch, MLX et vLLM-Omni fournies ensemble
Les points faibles
- Aucun benchmark publié ni comparaison avec d'autres modèles duplex
- Modèle de base : peu fiable sur les faits et ne suit pas les consignes
- Clone une voix à partir d'un extrait de 3 secondes, sans filigrane mentionné
- L'audio Bluetooth ajoute 100ms ou plus, d'où le conseil d'utiliser un casque filaire
Idéal pour
Chercheurs en parole et équipes produit vocales qui veulent un modèle de base full-duplex ouvert à affiner pour des conversations naturelles et interruptibles.
Alternatives à Haru-4B
Haru-4B : questions fréquentes
- Haru-4B vaut-il le coup ?
- Haru-4B est un début ouvert et ambitieux pour la voix full-duplex, avec une latence digne d'un portable, mais c'est un modèle de base de recherche qui clone les voix et ne publie aucun score. Nous lui donnons 3.6 sur 5.
- Combien coûte Haru-4B ?
- Poids et code gratuits sous Apache 2.0. L'auto-hébergement demande un GPU NVIDIA avec environ 12GB de mémoire ou un Mac Apple silicon ; pas d'API hébergée.
- Quels sont les inconvénients de Haru-4B ?
- Aucun benchmark publié ni comparaison avec d'autres modèles duplex; modèle de base : peu fiable sur les faits et ne suit pas les consignes; clone une voix à partir d'un extrait de 3 secondes, sans filigrane mentionné; l'audio Bluetooth ajoute 100ms ou plus, d'où le conseil d'utiliser un casque filaire.
- À qui s’adresse Haru-4B ?
- Chercheurs en parole et équipes produit vocales qui veulent un modèle de base full-duplex ouvert à affiner pour des conversations naturelles et interruptibles.
- Combien coûte Haru-4B pour une équipe ou en production ?
- Aucun coût de licence. Une conversation tient sur un GPU NVIDIA de 12GB ; pour de nombreux appels simultanés, la voie vLLM-Omni vise des GPU de centre de données, où une B300 exécute une étape complète en environ 15ms. La concurrence par GPU n'est pas publiée.
- Haru-4B est-il sûr pour les données de l’entreprise ?
- Fonctionne entièrement sur votre matériel, sauf avec `--share`, qui fait transiter l'audio par les serveurs de partage de Gradio vers toute personne disposant du lien. Entraîné sur de la parole réelle nettoyée par la restauration Sidon et séparée en deux canaux par le modèle FastDialogueSidon de l'entreprise ; les sources ne sont pas détaillées.
- Quelles sont les meilleures alternatives à Haru-4B ?
- Les alternatives les plus proches que nous avons testées sont MiniCPM-o 4.5, GPT-Live-1 (and GPT-Realtime-2.1) et Sesame CSM-1B.
Réponses vérifiées le 21 nov. 2026.