Was ist Omnilingual ASR?
Omnilingual ASR ist eine Familie offener Spracherkennungsmodelle aus Metas Forschungsgruppe FAIR, veröffentlicht im November 2025, die mehr als 1.600 Sprachen transkribiert, darunter über 500, die laut Meta zuvor kein Spracherkennungssystem abgedeckt hat. Es ist Metas aktuelle Arbeit an mehrsprachiger Spracherkennung und folgt auf die Modelle Massively Multilingual Speech (MMS) von 2023, die etwa 1.100 Sprachen abdeckten.
Alle Modelle teilen sich einen Sprach-Encoder auf Basis von wav2vec 2.0, den Meta auf 7 Milliarden Parameter vergrößert und mit 4,3 Millionen Stunden ungelabeltem Audio vortrainiert hat. Darauf sitzen zwei Decoder: ein schneller CTC-Decoder und ein LLM-ASR-Decoder im Stil eines Sprachmodells, dem man Sprache und Schrift vorgeben kann. Beide gibt es mit Encodern in den Größen 300M, 1B, 3B und 7B. Ein separates 7B-Zero-Shot-Modell transkribiert eine Sprache, auf der es nie trainiert wurde, anhand einer Handvoll Beispielaufnahmen mit ihren Transkripten.
Im Dezember 2025 veröffentlichte Meta v2-Checkpoints mit niedrigeren Fehlerraten sowie Unlimited-Varianten von LLM-ASR, die Audio beliebiger Länge verarbeiten; die übrigen Modelle akzeptieren Clips unter 40 Sekunden. Code und Modelle stehen unter Apache 2.0, und das Omnilingual ASR Corpus mit transkribierter Sprache in 350 unterversorgten Sprachen steht unter CC-BY 4.0. Das Repository hat seit dem 30. Dezember 2025 keine Commits mehr erhalten.
Lohnt sich Omnilingual ASR?
Omnilingual ASR ist das offene Spracherkennungssystem mit der größten Reichweite, und das mit deutlichem Abstand. Metas 7B-LLM-ASR-Modell erreicht bei 78% der mehr als 1.600 unterstützten Sprachen eine Zeichenfehlerrate unter 10. Auf den 81 FLEURS-Sprachen, die auch Whisper large-v3 abdeckt, kommt es im Testsatz auf eine durchschnittliche Zeichenfehlerrate von 5,6 gegenüber 22,6 für Whisper und gewinnt bei 65 der 81 Sprachen. Alle Zahlen stammen aus Metas eigenem Paper.
Der Durchschnitt schmeichelt ihm bei den Sprachen, die die meisten Käufer zuerst interessieren. Whispers Mittelwert wird von Sprachen nach unten gezogen, die es kaum unterstützt; auf MLS, acht ressourcenreichen europäischen Sprachen, erreicht Whisper large-v3 2,0 gegenüber 2,4 für das beste Omnilingual-Modell, und unter den meistgesprochenen Sprachen der Welt gewinnt das 7B-Modell 24 von 34. Meta meldet Zeichenfehlerraten, nicht die Wortfehlerrate, die die meisten kommerziellen Anbieter angeben, deshalb lassen sich seine Zahlen nicht neben ein Datenblatt eines Anbieters legen.
Im Long Tail verdient es seinen Platz, und dort ist es auch am schwächsten. Für 546 Sprachen mit weniger als 10 Stunden Trainingsaudio liegt die mittlere Zeichenfehlerrate des 7B-Modells bei 18,0, und nur 36% davon fallen unter 10. Das Zero-Shot-Modell bietet einen Weg für eine Sprache, die nicht auf der Liste steht, anhand weniger gepaarter Aufnahmen, aber laut Meta erreicht es noch nicht ein vollständig trainiertes Modell. Gegen Googles USM, das nicht öffentlich ist, erreicht das 7B-Modell auf FLEURS-102 6,2 gegenüber 6,5 für die beste USM-Variante.
Die Technik ist auf Forschungsniveau. Die Modelle laufen auf Metas Toolkit fairseq2 statt auf Hugging Face Transformers, die Standard-Checkpoints lehnen Audio über 40 Sekunden ab, und die Dokumentation beschreibt keine Zeitstempel pro Wort; eine Anfrage nach Konfidenzwerten gehört zu 38 offenen Issues. Im Repository ist es seit Ende Dezember 2025 still, Korrekturen kommen also langsam. Ein Team, das eine Sprache wie Ligurisch oder Färöisch ergänzt, bekommt eine starke Basis unter einer Lizenz ohne Haken; ein Team, das englische Vertriebsgespräche transkribiert, bekommt nichts, was es nicht schon hatte.
Wo es sich lohnt
Ein Datenteam bei einer NGO, die Radioprogramme in ost- und westafrikanischen Sprachen betreibt
Hunderte Stunden Sendungen in lokalen Sprachen durchsuchbar machen
Betreibe das 7B-LLM-ASR-Unlimited-Modell auf einer GPU der A100-Klasse und setze für jedes Programm den Sprachcode. Bei Metas Echtzeitfaktor von 0,097 für lange Aufnahmen brauchen 1.000 Stunden bei Batchgröße 1 etwa 97 GPU-Stunden; prüfe vorher die Fehlerraten pro Sprache in Metas veröffentlichter Tabelle, denn ressourcenarme Sprachen schwanken stark.
Eine Computerlinguistin, die eine bedrohte Sprache dokumentiert
Ein erstes Transkriptionsmodell für eine Sprache ohne jede Spracherkennung bekommen
Gib dem 7B-Zero-Shot-Modell eine Handvoll Aufnahmen mit Transkripten als Kontext und stimme mit Metas Rezepten einen CTC- oder LLM-ASR-Checkpoint fein ab, sobald mehr Daten vorliegen. Die Zero-Shot-Qualität liegt unter der eines trainierten Modells, behandle die Ausgabe also als Entwurf zur Korrektur.
Ein Engineer, der eine Offline-Sprachfunktion für ein robustes Feldgerät baut
Kurze Befehle in einer Regionalsprache ohne Netzverbindung transkribieren
Das 300M-CTC-Modell braucht etwa 2 GiB Speicher und verarbeitet Audio auf einer A100 mit einem Echtzeitfaktor von 0,001, kleinere Hardware hat also Spielraum. CTC-Modelle können bei ressourcenarmen Sprachen die falsche Schrift wählen, was die sprachkonditionierten LLM-ASR-Modelle weitgehend vermeiden.
Bevor du dich festlegst
- Einrichtung
- pip install omnilingual-asr (Version 0.2.0) plus die Systembibliothek libsndfile, dann drei Zeilen Python mit ASRInferencePipeline; Checkpoints landen beim ersten Aufruf im Cache von fairseq2. Sprachcodes folgen dem Muster eng_Latn.
- Integrationen
- Aufgebaut auf fairseq2 und PyTorch; Meta liefert Rezepte für Datenaufbereitung und Feinabstimmung sowie einen Demo-Space auf Hugging Face. Es gibt keine Integration in Transformers und keine gehostete API von Meta.
- Daten und Datenschutz
- Selbst gehostet, Audio verlässt deine Hardware also nie. Apache 2.0 setzt den Modellen keine kommerziellen oder anwendungsbezogenen Grenzen; das Korpus steht unter CC-BY 4.0 und verlangt eine Namensnennung.
- Kosten im großen Maßstab
- Auf einer A100 bei Batchgröße 1 braucht das 7B LLM-ASR etwa 17 GiB VRAM bei einem Echtzeitfaktor von 0,092, also etwa 5,5 GPU-Minuten pro Stunde Audio; das 300M CTC braucht etwa 2 GiB bei 0,001, wenige Sekunden pro Stunde. Nach Metas BF16-Angaben betreibt eine GPU mit 24 GB jedes Modell, das 7B-Zero-Shot-Modell mit etwa 20 GiB eingeschlossen.
- Grenzen
- Die Standardmodelle CTC und LLM-ASR akzeptieren Clips unter 40 Sekunden; die Unlimited-Varianten unterstützen noch keine Feinabstimmung. Meta meldet nur Zeichenfehlerraten aus eigenen Auswertungen und dokumentiert weder Zeitstempel noch Konfidenzwerte.
Was gut ist
- Mehr als 1.600 Sprachen, über 500 davon nie zuvor von Spracherkennung abgedeckt
- Apache 2.0 für Code und Gewichte; kommerzielle Nutzung erlaubt
- 7B LLM-ASR: CER unter 10 für 78% der unterstützten Sprachen (Meta)
- 300M CTC braucht etwa 2 GiB VRAM und läuft 96-mal schneller als das 7B LLM-ASR
Was nicht
- Whisper large-v3 gewinnt weiterhin bei ressourcenreichen europäischen Sprachen (MLS 2,0 zu 2,4)
- Ressourcenarme Sprachen liegen im Schnitt bei 18,0 CER; nur 36% unter 10
- Standardmodelle begrenzen Clips auf 40 Sekunden; keine dokumentierten Zeitstempel pro Wort
- fairseq2-Stack, keine Unterstützung in Transformers; keine Commits seit Dezember 2025
Am besten für
Teams, die Sprachen transkribieren, die kommerzielle Sprach-APIs nicht abdecken, eigene GPUs betreiben können und Werkzeuge auf Forschungsniveau akzeptieren.
Alternativen zu Omnilingual ASR
Omnilingual ASR: häufige Fragen
- Lohnt sich Omnilingual ASR?
- Kein anderes offenes Modell transkribiert 1.600 Sprachen unter Apache 2.0, und für den Long Tail ist Omnilingual ASR die Standardwahl; bei Englisch und den großen europäischen Sprachen hält Whisper weiterhin mit. Wir bewerten es mit 4.2 von 5.
- Was kostet Omnilingual ASR?
- Kostenlos unter Apache 2.0, kommerzielle Nutzung eingeschlossen; das Trainingskorpus steht unter CC-BY 4.0. Meta bietet keine gehostete API an, die Kosten sind also deine eigene GPU-Zeit.
- Welche Nachteile hat Omnilingual ASR?
- Whisper large-v3 gewinnt weiterhin bei ressourcenreichen europäischen Sprachen (MLS 2,0 zu 2,4); Ressourcenarme Sprachen liegen im Schnitt bei 18,0 CER; nur 36% unter 10; Standardmodelle begrenzen Clips auf 40 Sekunden; keine dokumentierten Zeitstempel pro Wort; fairseq2-Stack, keine Unterstützung in Transformers; keine Commits seit Dezember 2025.
- Für wen eignet sich Omnilingual ASR?
- Teams, die Sprachen transkribieren, die kommerzielle Sprach-APIs nicht abdecken, eigene GPUs betreiben können und Werkzeuge auf Forschungsniveau akzeptieren.
- Was kostet Omnilingual ASR für ein Team oder im Produktivbetrieb?
- Auf einer A100 bei Batchgröße 1 braucht das 7B LLM-ASR etwa 17 GiB VRAM bei einem Echtzeitfaktor von 0,092, also etwa 5,5 GPU-Minuten pro Stunde Audio; das 300M CTC braucht etwa 2 GiB bei 0,001, wenige Sekunden pro Stunde. Nach Metas BF16-Angaben betreibt eine GPU mit 24 GB jedes Modell, das 7B-Zero-Shot-Modell mit etwa 20 GiB eingeschlossen.
- Ist Omnilingual ASR sicher für Firmendaten?
- Selbst gehostet, Audio verlässt deine Hardware also nie. Apache 2.0 setzt den Modellen keine kommerziellen oder anwendungsbezogenen Grenzen; das Korpus steht unter CC-BY 4.0 und verlangt eine Namensnennung.
- Was sind die besten Alternativen zu Omnilingual ASR?
- Die nächsten Alternativen, die wir getestet haben, sind Whisper large-v3-turbo, Qwen3-ASR (1.7B and 0.6B), Parakeet TDT 0.6B v3 und Voxtral 3 (Transcribe and TTS).
Antworten geprüft am 9. Nov. 2026.
Du entwickelst Omnilingual ASR? Zeig diese Bewertung auf deiner Website
