Image, vidéo et audio
Les termes des modèles qui génèrent et retouchent images, vidéos, voix et musique.
- Avatar IA
- Un avatar IA est un personnage vidéo généré, souvent basé sur une personne réelle, qui prononce un script ou des réponses en direct avec des mouvements du visage, des lèvres et de la tête synchronisés.
- Clonage vocal
- Le clonage vocal (voice cloning) consiste à utiliser l'IA pour faire parler un système de text-to-speech avec la voix d'une personne précise, apprise à partir d'un enregistrement de cette personne. Certains systèmes n'ont besoin que d'un court échantillon.
- ControlNet
- ControlNet est un module complémentaire de réseau de neurones qui permet à un modèle de diffusion texte vers image de suivre un guide structurel, comme une carte de contours, une carte de profondeur ou une pose humaine, en plus du prompt textuel.
- Diarisation des locuteurs
- La diarisation des locuteurs (speaker diarization) consiste à découper un enregistrement audio par locuteur, en indiquant pour chaque passage de parole qui l'a prononcé. Elle répond à la question « qui a parlé quand ».
- Échelle de guidage (CFG)
- L'échelle de guidage (guidance scale), ou CFG scale, est un réglage des générateurs d'images par diffusion qui contrôle à quel point le résultat suit le prompt. Des valeurs plus élevées suivent le prompt de plus près mais réduisent la variété.
- Image vers image
- L'image vers image (image-to-image) est la tâche qui consiste à générer une nouvelle image à partir d'une image existante et d'un prompt, en conservant une partie de la structure de l'original tout en changeant le style, les détails ou le contenu.
- Image vers vidéo
- L'image vers vidéo (image-to-video) est la tâche qui consiste à transformer une image fixe en un court clip vidéo, généralement avec l'image comme première image et un prompt textuel qui décrit le mouvement.
- Inpainting et outpainting
- L'inpainting consiste à remplir une zone masquée d'une image avec un nouveau contenu généré qui s'accorde au reste de l'image. L'outpainting applique la même idée au-delà des bords, en prolongeant l'image hors de son cadre.
- Lip sync (vidéo IA)
- Le lip sync par IA (synchronisation labiale) consiste à utiliser un modèle pour modifier les mouvements de la bouche d'une personne dans une vidéo ou une image afin qu'ils correspondent à une nouvelle piste audio, comme une réplique traduite ou réécrite.
- Modèle de diffusion
- Un modèle de diffusion est un modèle génératif qui apprend à transformer du bruit aléatoire en données, comme une image, en retirant un peu de bruit à la fois sur de nombreuses étapes.
- Modèle speech-to-speech
- Un modèle speech-to-speech (parole à parole) reçoit de l'audio parlé et produit directement de l'audio parlé, sans convertir d'abord la parole en texte puis l'inverse. Il sert à la conversation vocale en direct et à la traduction.
- Speech-to-text
- Le speech-to-text (transcription de la parole), aussi appelé reconnaissance automatique de la parole (ASR), est un logiciel qui convertit l'audio parlé en texte écrit. Il alimente la transcription, les sous-titres, les commandes vocales et la partie écoute des agents vocaux.
- Text-to-3D
- Le text-to-3D (texte vers 3D) consiste à générer un objet ou une scène en 3D à partir d'un prompt écrit. L'image-to-3D fait la même chose à partir d'une ou plusieurs photos. Le résultat peut être observé sous n'importe quel angle.
- Text-to-image
- Le text-to-image (texte vers image) consiste à générer une nouvelle image à partir d'une description écrite, appelée prompt. La plupart des modèles text-to-image actuels sont des modèles de diffusion conditionnés par le texte.
- Text-to-music
- Le text-to-music (texte vers musique) consiste à générer de l'audio musical à partir d'une description écrite, comme le genre, l'ambiance, les instruments et le tempo. Certains systèmes écrivent et chantent aussi des paroles.
- Text-to-speech
- Le text-to-speech (TTS, synthèse vocale) est un logiciel qui transforme un texte écrit en audio parlé. La TTS moderne utilise des réseaux de neurones qui prédisent le son de la parole à partir du texte, puis le restituent sous forme d'onde sonore.
- Text-to-video
- Le text-to-video (texte vers vidéo) consiste à générer un court clip vidéo à partir d'un prompt écrit. Les modèles doivent produire des images qui paraissent correctes une à une et qui s'enchaînent aussi de façon cohérente d'une image à la suivante.
- Upscaling d'images par IA
- L'upscaling d'images par IA (agrandissement ou super-résolution) utilise un réseau de neurones pour agrandir une image et y ajouter des détails plausibles, si bien que le résultat paraît plus net qu'avec un simple redimensionnement.