As notas de reconhecimento de fala parecem excelentes até que quem fala não soe como os dados de teste. O Open ASR Leaderboard, da Hugging Face, um dos rankings públicos de modelos de transcrição mais acompanhados, acrescentou dois novos conjuntos de teste privados que miram exatamente essa lacuna: inglês de conversa com sotaque egípcio e nigeriano, fornecido pela empresa de dados Liva AI.
As novas gravações são curtas. O conjunto egípcio tem 1,34 hora e o nigeriano 1,55 hora, ambos de conversa espontânea transcrita com pontuação, maiúsculas e disfluências como recomeços de frase. Eles se juntam a 11 partições privadas adicionadas há alguns meses pela Appen e pela DataOceanAI, com fala lida e de conversa em cinco sotaques, e a um conjunto privado posterior de inglês com sotaque indiano da Voice Arena.
O ponto central é serem privados. Benchmarks públicos acabam vazando para os dados de treinamento, e os modelos podem ser ajustados a eles, prática que os responsáveis pelo ranking chamam de benchmaxxing. Áudio reservado, que os desenvolvedores não podem baixar, é mais difícil de manipular, então a nota de um modelo nele diz mais sobre como ele vai lidar com pessoas reais. Com os novos sotaques, a aba privada agora mostra duas comparações: falantes dos Estados Unidos contra todos os demais, o que inclui Reino Unido, Austrália, Canadá, Índia, Nigéria e Egito, e o círculo interno de países de inglês nativo contra Índia, Nigéria e Egito, segundo o modelo dos três círculos do inglês do linguista Braj Kachru.
Para quem escolhe um modelo de transcrição entre os que analisamos, como Qwen3-ASR, Whisper Large v3 Turbo ou Parakeet, é uma segunda opinião útil. Um modelo que lidera com fala americana lida e limpa pode cair bastante numa conversa rápida e com sotaque, que é o áudio com que muitas centrais de atendimento, clínicas e tribunais lidam de fato.
Os limites são claros. Menos de três horas de áudio novo, de um único fornecedor, é uma amostra pequena; diferenças pequenas entre modelos nessas partições não devem ser vistas como significativas. Dois sotaques não representam a variedade do inglês falado na África e no Oriente Médio, e os responsáveis dizem que só vão dividir os círculos externo e em expansão à medida que chegarem mais sotaques. Dados privados também têm dois lados: resistem à manipulação, mas ninguém de fora pode examiná-los para conferir qualidade ou equilíbrio. A Liva AI coleta seus dados por meio de produtos de consumo, que o texto apresenta como fala natural, mas não há detalhes sobre consentimento nem número de falantes.