Imagem, vídeo e áudio
Os termos por trás dos modelos que geram e editam imagens, vídeo, voz e música.
- Avatar de IA
- Um avatar de IA é um personagem de vídeo gerado, muitas vezes baseado em uma pessoa real, que fala um roteiro ou respostas ao vivo com movimentos de rosto, lábios e cabeça correspondentes.
- Clonagem de voz
- A clonagem de voz (voice cloning) é o uso de IA para fazer um sistema de text-to-speech falar com a voz de uma pessoa específica, aprendida a partir de uma gravação dela. Alguns sistemas precisam só de uma amostra curta.
- ControlNet
- O ControlNet é um complemento de rede neural que permite a um modelo de difusão text-to-image seguir um guia estrutural, como um mapa de bordas, um mapa de profundidade ou uma pose humana, além do prompt de texto.
- Diarização de locutores
- A diarização de locutores (speaker diarization) é a tarefa de dividir uma gravação de áudio por locutor, rotulando cada trecho de fala com quem o disse. Ela responde à pergunta "quem falou quando".
- Guidance scale (CFG)
- A guidance scale (escala de orientação), ou CFG scale, é uma configuração de geradores de imagem por difusão que controla com que força a saída segue o prompt. Valores mais altos seguem o prompt mais de perto, mas reduzem a variedade.
- Image-to-image
- Image-to-image (imagem para imagem) é a tarefa de gerar uma nova imagem a partir de uma existente mais um prompt, mantendo parte da estrutura da original enquanto muda estilo, detalhes ou conteúdo.
- Image-to-video
- Image-to-video (imagem para vídeo) é a tarefa de transformar uma imagem estática em um clipe curto de vídeo, geralmente com a imagem como primeiro quadro e um prompt de texto descrevendo o movimento.
- Inpainting e outpainting
- Inpainting (preenchimento interno) é preencher uma região mascarada de uma imagem com conteúdo novo gerado que combine com o resto da imagem. Outpainting é a mesma ideia aplicada fora das bordas, estendendo a imagem além do seu quadro.
- Lip sync (vídeo com IA)
- Lip sync com IA (sincronização labial) é o uso de um modelo para mudar os movimentos da boca de uma pessoa em um vídeo ou imagem para que correspondam a uma nova faixa de áudio, como uma fala traduzida ou reescrita.
- Modelo de difusão
- Um modelo de difusão (diffusion model) é um modelo generativo que aprende a transformar ruído aleatório em dados, como uma imagem, removendo um pouco de ruído por vez ao longo de muitos passos.
- Modelo speech-to-speech
- Um modelo speech-to-speech (de fala para fala) recebe áudio falado e produz áudio falado diretamente, sem converter primeiro a fala em texto e de volta. Ele é usado em conversas por voz ao vivo e em tradução.
- Speech-to-text
- Speech-to-text (fala para texto), também chamado de reconhecimento automático de fala (ASR), é um software que converte áudio falado em texto escrito. Ele está por trás de transcrições, legendas, comandos de voz e da parte que escuta nos voice agents.
- Text-to-3D
- Text-to-3D (texto para 3D) é a tarefa de gerar um objeto ou cena 3D a partir de um prompt escrito. O image-to-3D faz o mesmo a partir de uma ou mais fotos. O resultado pode ser visto de qualquer ângulo.
- Text-to-image
- Text-to-image (texto para imagem) é a tarefa de gerar uma nova imagem a partir de uma descrição escrita, chamada de prompt. A maioria dos modelos text-to-image atuais são modelos de difusão condicionados pelo texto.
- Text-to-music
- Text-to-music (texto para música) é a tarefa de gerar áudio musical a partir de uma descrição escrita, como gênero, clima, instrumentos e andamento. Alguns sistemas também escrevem e cantam letras.
- Text-to-speech
- Text-to-speech (TTS, texto para fala) é um software que transforma texto escrito em áudio falado. O TTS moderno usa redes neurais que preveem o som da fala a partir do texto e depois o renderizam como forma de onda.
- Text-to-video
- Text-to-video (texto para vídeo) é a tarefa de gerar um videoclipe curto a partir de um prompt escrito. Os modelos precisam produzir quadros que pareçam corretos individualmente e também se movam de forma consistente de um quadro para o outro.
- Upscaling de imagens com IA
- O upscaling de imagens com IA (ampliação), ou super-resolução, usa uma rede neural para ampliar uma imagem e preencher detalhes plausíveis, para que o resultado pareça mais nítido do que um redimensionamento simples deixaria.