Les scores de reconnaissance vocale paraissent excellents jusqu'à ce que la personne qui parle ne ressemble plus aux données de test. L'Open ASR Leaderboard de Hugging Face, l'un des classements publics de modèles de transcription les plus suivis, a ajouté deux nouveaux jeux de test privés qui visent précisément cet écart : de l'anglais conversationnel avec accents égyptien et nigérian, fourni par la société de données Liva AI.
Les nouveaux enregistrements sont courts. Le jeu égyptien dure 1,34 heure et le nigérian 1,55 heure, tous deux de la conversation spontanée transcrite avec ponctuation, majuscules et disfluences comme les faux départs. Ils rejoignent 11 sous-ensembles privés ajoutés il y a quelques mois par Appen et DataOceanAI, couvrant de la parole lue et conversationnelle dans cinq accents, ainsi qu'un ensemble privé plus récent d'anglais à accent indien fourni par Voice Arena.
Tout l'intérêt tient au caractère privé. Les benchmarks publics finissent par fuiter dans les données d'entraînement et les modèles peuvent être optimisés pour eux, une pratique que les responsables du classement appellent benchmaxxing. Un audio réservé que les développeurs ne peuvent pas télécharger est plus difficile à contourner, si bien que le score d'un modèle sur ces données en dit plus sur sa façon de traiter de vrais interlocuteurs. Avec ces nouveaux accents, l'onglet privé propose désormais deux comparaisons : locuteurs des États-Unis contre tous les autres, soit le Royaume-Uni, l'Australie, le Canada, l'Inde, le Nigeria et l'Égypte, et le cercle intérieur des pays anglophones natifs contre l'Inde, le Nigeria et l'Égypte, selon le modèle des trois cercles de l'anglais du linguiste Braj Kachru.
Pour qui choisit un modèle de transcription parmi ceux que nous testons, comme Qwen3-ASR, Whisper Large v3 Turbo ou Parakeet, c'est un second avis utile. Un modèle en tête sur de l'anglais américain lu et propre peut chuter nettement sur une conversation rapide et accentuée, précisément l'audio que traitent de nombreux centres d'appels, cliniques et tribunaux.
Les limites sont claires. Moins de trois heures d'audio nouveau, d'un seul fournisseur, forment un petit échantillon ; de faibles écarts entre modèles sur ces sous-ensembles ne doivent pas être jugés significatifs. Deux accents ne représentent pas la diversité de l'anglais parlé en Afrique et au Moyen-Orient, et les responsables disent ne subdiviser les cercles extérieur et en expansion qu'à mesure que d'autres accents arriveront. Les données privées ont aussi deux faces : elles résistent à la manipulation, mais personne d'extérieur ne peut en vérifier la qualité ou l'équilibre. Liva AI collecte ses données via des produits grand public, que le billet présente comme de la parole naturelle, sans détails sur le consentement ni le nombre de locuteurs.