Spracherkennungswerte sehen hervorragend aus, bis die sprechende Person nicht wie die Testdaten klingt. Das Open ASR Leaderboard von Hugging Face, eine der meistbeachteten öffentlichen Ranglisten für Transkriptionsmodelle, hat zwei neue private Testsätze aufgenommen, die genau diese Lücke ansprechen: Englisch im Gespräch mit ägyptischem und nigerianischem Akzent, geliefert vom Datenunternehmen Liva AI.
Die neuen Aufnahmen sind kurz. Der ägyptische Satz umfasst 1,34 Stunden, der nigerianische 1,55 Stunden, beides spontane Gespräche, transkribiert mit Zeichensetzung, Groß- und Kleinschreibung und Unflüssigkeiten wie abgebrochenen Satzanfängen. Sie ergänzen 11 private Teilsätze, die vor einigen Monaten von Appen und DataOceanAI hinzukamen und vorgelesene wie gesprochene Sprache in fünf Akzenten abdecken, sowie einen späteren privaten Satz mit indisch geprägtem Englisch von Voice Arena.
Entscheidend ist, dass die Daten privat sind. Öffentliche Benchmarks sickern mit der Zeit in Trainingsdaten durch, und Modelle lassen sich auf sie abstimmen, was die Betreiber des Leaderboards Benchmaxxing nennen. Zurückgehaltene Aufnahmen, die Entwickler nicht herunterladen können, sind schwerer auszutricksen, daher sagt ein Wert darauf mehr darüber, wie ein Modell mit echten Anrufern umgeht. Mit den neuen Akzenten zeigt der private Reiter nun zwei Vergleiche: Sprecher aus den USA gegen alle anderen, also Großbritannien, Australien, Kanada, Indien, Nigeria und Ägypten, sowie den inneren Kreis der Länder mit Englisch als Muttersprache gegen Indien, Nigeria und Ägypten, nach dem Drei-Kreise-Modell des Englischen des Linguisten Braj Kachru.
Wer unter den von uns getesteten Transkriptionsmodellen wählt, etwa Qwen3-ASR, Whisper Large v3 Turbo oder Parakeet, bekommt damit eine nützliche zweite Meinung. Ein Modell, das bei sauber vorgelesenem amerikanischem Englisch vorn liegt, kann bei schnellem Gespräch mit Akzent deutlich zurückfallen, und genau mit solchem Audio haben viele Callcenter, Kliniken und Gerichte zu tun.
Die Grenzen sind deutlich. Weniger als drei Stunden neues Audio von einem einzigen Anbieter sind eine kleine Stichprobe; kleine Abstände zwischen Modellen auf diesen Teilsätzen sollte man nicht für aussagekräftig halten. Zwei Akzente bilden nicht die Bandbreite des in Afrika und im Nahen Osten gesprochenen Englisch ab, und die Betreiber wollen die äußeren und sich ausweitenden Kreise erst weiter aufteilen, wenn mehr Akzente hinzukommen. Private Daten haben zudem zwei Seiten: Sie widerstehen Manipulation, doch Außenstehende können Qualität und Ausgewogenheit nicht prüfen. Liva AI sammelt seine Daten über Verbraucherprodukte, was der Beitrag als natürliche Sprache darstellt, nennt aber keine Angaben zu Einwilligung oder Zahl der Sprecher.