Sincronización labial (vídeo con IA)
La sincronización labial con IA (lip sync) es el uso de un modelo para cambiar los movimientos de la boca de una persona en un vídeo o una imagen de modo que encajen con una pista de audio nueva, como una frase traducida o reescrita.
También llamado: lip-sync, lipsync, AI lip sync, audio-driven talking face
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
La sincronización labial es lo que hace que el doblaje con IA parezca natural. Si traduces las palabras de alguien con text-to-speech o clonación de voz, los movimientos originales de la boca dejan de encajar. Un modelo de sincronización labial regenera la zona de la boca para que coincida con el nuevo audio.
Cómo funciona
Wav2Lip, de 2020, es un modelo abierto muy usado. Edita la parte inferior de la cara en cada fotograma para que encaje con el audio, y se entrenó frente a una red experta independiente que juzga si los labios y el sonido están sincronizados. Ese juez lo empujó a funcionar con caras que nunca había visto, en vídeo normal sin restricciones. Los modelos más recientes van más allá y animan toda la cara o la cabeza a partir del audio, que es la base de un avatar de IA.
Usos
Doblar vídeos a otros idiomas, corregir una frase en postproducción sin volver a rodar, mensajes de vídeo personalizados y avatares que hablan. Servicios como HeyGen y Synthesia se basan en ella.
Límites
Los dientes, los perfiles, las barbas, los giros rápidos de cabeza y las manos cerca de la cara son difíciles. Los resultados pueden verse borrosos alrededor de la boca. La sincronización labial aplicada a una persona real sin su consentimiento es una técnica central de los deepfakes, así que pueden aplicarse normas de las plataformas y leyes.
Términos relacionados
- Avatar de IA
- Un avatar de IA es un personaje de vídeo generado, a menudo basado en una persona real, que pronuncia un guion o respuestas en directo con movimientos de cara, labios y cabeza acordes.
- Text-to-video
- El text-to-video (texto a vídeo) es la tarea de generar un clip de vídeo corto a partir de un prompt escrito. Los modelos tienen que producir fotogramas que se vean bien cada uno por separado y que además se muevan de forma coherente de uno a otro.
- Deepfake
- Un deepfake es un contenido de imagen, audio o vídeo creado o alterado con IA de forma que muestra de manera convincente a una persona, un lugar o un hecho reales tal como no ocurrieron, y que podría pasar por auténtico.
- Clonación de voz
- La clonación de voz (voice cloning) es el uso de IA para que un sistema de text-to-speech hable con la voz de una persona concreta, aprendida a partir de una grabación de esa persona. Algunos sistemas solo necesitan una muestra corta.
- Text-to-speech
- El text-to-speech (TTS, texto a voz) es software que convierte texto escrito en audio hablado. El TTS moderno usa redes neuronales que predicen el sonido del habla a partir del texto y luego lo generan como forma de onda.