画像・動画・音声
画像、動画、音声、音楽を生成・編集するモデルの用語です。
- AI アバター
- AI アバター(AI avatar)とは、多くの場合実在の人物をもとに生成された動画のキャラクターです。台本やリアルタイムの応答を、顔、唇 、頭の動きを合わせながら話します。
- AI 画像アップスケーリング
- AI 画像アップスケーリング(AI image upscaling)、または超解像(super-resolution)は、ニューラルネットワークを使って画像を拡大し、もっともらしい細部を補う技術です。単純なリサイズよりも鮮明に見える結果が得られます。
- ControlNet
- ControlNet は、テキストからの画像生成を行う拡散モデルが、テキストのプロンプトに加えて、エッジマップ、深度マップ、人のポーズなどの構造的なガイドに従えるようにするニューラルネットワークの追加モジュールです。
- Image-to-image
- Image-to-image(画像から画像への生成)とは、既存の画像とプロンプトから新しい画像を生成するタスクです。元の画像の構造の一部を保ちながら、スタイル、細部、内容を変えます。
- Image-to-video
- Image-to-video(画像からの動画生成)と は、静止画を短い動画クリップに変えるタスクです。通常は画像を最初のフレームとし、テキストのプロンプトで動きを記述します。
- Speech-to-speechモデル
- Speech-to-speechモデル(音声対音声モデル)とは、話し言葉の音声を受け取り、いったんテキストに変換して戻すことなく、直接話し言葉の音声を出力するモデルです。リアルタイムの音声会話や翻訳に使われます。
- Speech-to-text(音声認識)
- Speech-to-text(音声認識)とは、自動音声認識(ASR)とも呼ばれ、話し言葉の音声を書き言葉のテキストに変換するソフトウェアです。書き起こし、字幕、音声コマンド、そして音声エージェントの聞き取りの部分を支えています。
- Text-to-3D
- Text-to-3Dとは、書かれたプロンプトから3Dのオブジェクトやシーンを生成するタスクです。Image-to-3Dは、同じことを1枚以上の写真から行います。出力はどの角度からでも見られます。
- Text-to-image(画像生成)
- Text-to-image(画像生成)とは、プロンプトと呼ばれる書かれた説明から新しい画像を生成するタスクです。現在のtext-to-imageモデルのほとんどは、テキストで条件付けした拡散モデルです。
- Text-to-music(音楽生成)
- Text-to-music(音楽生成)とは、ジャンル、雰囲気、楽器、テンポなどの書かれた説明から音楽の音声を生成するタスクです。歌詞を書いて歌うシステムもあります。
- Text-to-speech(音声合成)
- Text-to-speech(TTS、音声合成)とは、書かれたテキストを話し言葉の音声に変えるソフトウェアです。現在のTTSは、テキストから発話の音を予測し、それを波形として描き出すニューラルネットワークを使います。
- Text-to-video(動画生成)
- Text-to-video(動画生成)とは、書かれたプロンプトから短い動画クリップを生成するタスクです。モデルは、それぞれが正しく見え、しかもフレーム間で一貫して動くフレームを生成しなければなりません。
- インペインティングとアウトペインティング
- インペインティング(inpainting)とは、画像のマスクした領域を、画像のほかの部分に合う新しく生成した内容で埋めることです。アウトペインティング(outpainting)は同じ考え方を縁の外側に適用し、画像を枠の外へ広げます。
- ガイダンススケール(CFG)
- ガイダンススケール(guidance scale)、または CFG スケールとは、拡散モデルの画像生成ツールで、出力がプロンプトにどれだけ強く従うかを調整する設定です。値を高くするとプロンプトにより忠実に従いますが、多様性は下がります。
- ボイスクローニング
- ボイスクローニング(voice cloning)とは、AIを使い、特定の人の録音から学んだその人の声で音声合成システムに話させることです。短いサンプルだけで済むシステムもあります。
- リップシンク(AI 動画)
- AI リップシンク(AI lip sync)とは、動画や画像の中の人物の口 の動きを、翻訳したセリフや書き直したセリフなどの新しい音声トラックに合うようにモデルで変えることです。
- 拡散モデル
- 拡散モデル(diffusion model)とは、多くのステップをかけて少しずつノイズを取り除くことで、ランダムなノイズを画像などのデータに変えることを学ぶ生成モデルです。
- 話者ダイアライゼーション
- 話者ダイアライゼーション(speaker diarization)とは、音声の録音を話者ごとに分け、発話の各区間に誰が話したかのラベルを付けるタスクです。「誰がいつ話したか」という問いに答えます。