Imagen, vídeo y audio
Los términos de los modelos que generan y editan imágenes, vídeo, voz y música.
- Avatar de IA
- Un avatar de IA es un personaje de vídeo generado, a menudo basado en una persona real, que pronuncia un guion o respuestas en directo con movimientos de cara, labios y cabeza acordes.
- Clonación de voz
- La clonación de voz (voice cloning) es el uso de IA para que un sistema de text-to-speech hable con la voz de una persona concreta, aprendida a partir de una grabación de esa persona. Algunos sistemas solo necesitan una muestra corta.
- ControlNet
- ControlNet es un complemento de red neuronal que permite a un modelo de difusión text-to-image seguir una guía estructural, como un mapa de bordes, un mapa de profundidad o una pose humana, además del prompt de texto.
- Diarización de hablantes
- La diarización de hablantes (speaker diarization) es la tarea de dividir una grabación de audio por hablante, etiquetando cada tramo de habla con quién lo dijo. Responde a la pregunta "quién habló y cuándo".
- Escalado de imágenes con IA
- El escalado de imágenes con IA (upscaling), o superresolución, usa una red neuronal para ampliar una imagen y rellenar detalles plausibles, de modo que el resultado se ve más nítido que con un simple cambio de tamaño.
- Guidance scale (CFG)
- La guidance scale (escala de guía), o CFG scale, es un ajuste de los generadores de imágenes por difusión que controla con qué fuerza sigue la salida al prompt. Los valores más altos siguen el prompt más de cerca, pero reducen la variedad.
- Image-to-image
- Image-to-image (de imagen a imagen) es la tarea de generar una imagen nueva a partir de una existente más un prompt, conservando parte de la estructura del original mientras se cambia el estilo, el detalle o el contenido.
- Image-to-video
- Image-to-video (de imagen a vídeo) es la tarea de convertir una imagen fija en un clip de vídeo corto, normalmente con la imagen como primer fotograma y un prompt de texto que describe el movimiento.
- Inpainting y outpainting
- El inpainting consiste en rellenar una zona enmascarada de una imagen con contenido generado nuevo que encaje con el resto de la imagen. El outpainting es la misma idea aplicada fuera de los bordes, ampliando la imagen más allá de su marco.
- Modelo de difusión
- Un modelo de difusión (diffusion model) es un modelo generativo que aprende a convertir ruido aleatorio en datos, como una imagen, eliminando un poco de ruido cada vez a lo largo de muchos pasos.
- Modelo speech-to-speech
- Un modelo speech-to-speech (de voz a voz) recibe audio hablado y produce audio hablado directamente, sin convertir antes la voz en texto y de vuelta. Se usa para conversación por voz en directo y para traducción.
- Sincronización labial (vídeo con IA)
- La sincronización labial con IA (lip sync) es el uso de un modelo para cambiar los movimientos de la boca de una persona en un vídeo o una imagen de modo que encajen con una pista de audio nueva, como una frase traducida o reescrita.
- Speech-to-text
- El speech-to-text (voz a texto), también llamado reconocimiento automático del habla (ASR), es software que convierte audio hablado en texto escrito. Está detrás de la transcripción, los subtítulos, los comandos de voz y la parte que escucha en los agentes de voz.
- Text-to-3D
- El text-to-3D (texto a 3D) es la tarea de generar un objeto o una escena en 3D a partir de un prompt escrito. El image-to-3D hace lo mismo a partir de una o varias fotos. El resultado se puede ver desde cualquier ángulo.
- Text-to-image
- El text-to-image (texto a imagen) es la tarea de generar una imagen nueva a partir de una descripción escrita, llamada prompt. La mayoría de los modelos text-to-image actuales son modelos de difusión condicionados por el texto.
- Text-to-music
- El text-to-music (texto a música) es la tarea de generar audio musical a partir de una descripción escrita, como el género, el estado de ánimo, los instrumentos y el tempo. Algunos sistemas también escriben y cantan letras.
- Text-to-speech
- El text-to-speech (TTS, texto a voz) es software que convierte texto escrito en audio hablado. El TTS moderno usa redes neuronales que predicen el sonido del habla a partir del texto y luego lo generan como forma de onda.
- Text-to-video
- El text-to-video (texto a vídeo) es la tarea de generar un clip de vídeo corto a partir de un prompt escrito. Los modelos tienen que producir fotogramas que se vean bien cada uno por separado y que además se muevan de forma coherente de uno a otro.