Lip Sync (KI-Video)
KI-Lip-Sync (Lippensynchronisation) ist der Einsatz eines Modells, um die Mundbewegungen einer Person in einem Video oder Bild so zu verändern, dass sie zu einer neuen Tonspur passen, etwa einer übersetzten oder umgeschriebenen Zeile.
Auch: lip-sync, lipsync, AI lip sync, audio-driven talking face
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Lip Sync sorgt dafür, dass KI-Synchronisation natürlich wirkt. Übersetzt du die Worte eines Sprechers mit Text-to-Speech oder Voice Cloning, passen die ursprünglichen Mundbewegungen nicht mehr. Ein Lip-Sync-Modell generiert den Mundbereich neu, sodass er zur neuen Sprache passt.
So funktioniert es
Wav2Lip von 2020 ist ein weit verbreitetes offenes Modell. Es bearbeitet in jedem Frame das untere Gesicht passend zum Ton und wurde gegen ein separates Experten-Netz trainiert, das beurteilt, ob Lippen und Ton synchron sind. Dieser Richter brachte es dazu, auch bei nie gesehenen Gesichtern in gewöhnlichem, unkontrolliertem Video zu funktionieren. Neuere Modelle gehen weiter und animieren das ganze Gesicht oder den ganzen Kopf aus dem Ton, was die Grundlage eines KI-Avatars ist.
Einsätze
Videos in andere Sprachen synchronisieren, eine Zeile in der Postproduktion ohne Nachdreh korrigieren, personalisierte Videobotschaften und sprechende Avatare. Dienste wie HeyGen und Synthesia bauen darauf auf.
Grenzen
Zähne, Profilansichten, Bärte, schnelle Kopfdrehungen und Hände nahe am Gesicht sind schwierig. Die Ergebnisse können rund um den Mund verschwommen wirken. Lip Sync ohne Einwilligung auf eine echte Person anzuwenden, ist eine zentrale Deepfake-Technik, Plattformregeln und Gesetze können also greifen.
Verwandte Begriffe
- KI-Avatar
- Ein KI-Avatar (AI Avatar) ist eine generierte Videofigur, oft nach dem Vorbild einer echten Person, die ein Skript oder Live-Antworten mit passenden Gesichts-, Lippen- und Kopfbewegungen spricht.
- Text-to-Video
- Text-to-Video ist die Aufgabe, aus einem geschriebenen Prompt einen kurzen Videoclip zu erzeugen. Modelle müssen Frames erzeugen, die jeder für sich stimmig aussehen und sich zudem von einem Frame zum nächsten konsistent bewegen.
- Deepfake
- Ein Deepfake ist ein Bild-, Audio- oder Videoinhalt, der mit KI erstellt oder verändert wurde, sodass er überzeugend eine echte Person, einen Ort oder ein Ereignis so zeigt, wie es nicht geschehen ist, und als echt durchgehen könnte.
- Voice Cloning
- Voice Cloning (Stimmklonen) ist der Einsatz von KI, um ein Text-to-Speech-System mit der Stimme einer bestimmten Person sprechen zu lassen, gelernt aus einer Aufnahme dieser Person. Manche Systeme brauchen nur eine kurze Probe.
- Text-to-Speech
- Text-to-Speech (TTS, Sprachsynthese) ist Software, die geschriebenen Text in gesprochenes Audio verwandelt. Modernes TTS nutzt neuronale Netze, die aus dem Text den Klang der Sprache vorhersagen und ihn dann als Wellenform ausgeben.