VideoAgentとは？
VideoAgentは、香港大学のData Intelligence Lab（HKUDS、LightRAGやVideoRAGの開発元でもあります）による研究フレームワークであり、EMNLP 2026の論文に付随するものです。希望する動画を自然言語で記述すると、システムが要求を明示的および暗黙的なサブゴールに分解し、それらを専門エージェントにマッピングして、フィードバックループ内で検証および修正を行うグラフ形式のワークフローを構築します。処理対象となるタスクには、動画の質問応答や要約、ビートに同期した映画の編集、解説動画、ミームの再作成、ミュージックビデオ、異言語間のコメディ適応などが含まれます。
内部構造としては、音声およびオーディオ用のオープンモデル（CosyVoice、Fish Speech 1.5、Seed-VC、DiffSinger、Whisper large-v3-turbo）と検索用のImageBindを連結し、ホストされたLLMがプランニングを担当します。コードはMITライセンスのPythonで提供されています。タグ付けされたリリースは存在せず、コードの大半は2025年7月に投入され、2026年6月と7月に少数の修正が行われました。
VideoAgentは使う価値があるか？
VideoAgentは、実際に配備するよりも論文やコードを読み解くことに価値があります。その貢献はプランニング層にあります。「このスタンドアップコメディの原稿を、適切な映像を合わせたスペシャル番組にしてほしい」といった曖昧な指示を、文字起こし、検索、音声クローニング、歌唱合成、編集を行うエージェントの連鎖へと変換し、複数回の振り返り（reflection）ラウンドを通じてその連鎖を評価・修復するグラフルーターです。著者らは、各構成において0.95のワークフロー構築成功率を報告しており、プランナーとしてはGPT-4oやDeepSeek-V3よりもClaude 3.7を用いた場合の方が優れた結果を示したとしています。ただし、これらは独自のデータセットを用いた論文内の測定値です。
これを実行すること は、研究室の実験のような作業を伴います。READMEでは、8 GB GPU、Python 3.10環境のConda、pynini、ffmpeg、そして6つの個別のモデルダウンロードが求められます。構成には、ルーター用として必須のClaudeに加え、リミックス、編集、詳細なキャプション生成のためにそれぞれDeepSeek、OpenAI、Geminiのキーが必要です。未解決のissueには、「There is no suitable agent」としてエージェントが失敗する問題、グラフ判定のエラー、インストール経路間での依存関係の競合などが含まれています。なお、2026年7月のプルリクエストによって、オーケストレーターのクラッシュやマルチエージェントコード内の安全でないeval()が修正されました。
商用利用を行う前にはライセンスの確認が必要です。コード自体はMITですが、Fish Speech 1.5とImageBindの重みはどちらもCC BY-NC-SA 4.0であるため、標準の音声クローニングおよび検索パイプラインは非商用利用に限られます。デモ動画はインターネットから取得された映画や放送番組をリミックスしたものであり、READMEには研究目的のみと記載されています。入力する映像の権利関係について、ツール自体が何らかの処理を行うことはありません。
開発活動は縮小しています。2025年7月に236件のコミットがあった後は月あたり1桁台にとどまり、2026年のコミットは6件でした。1,973件のスターを獲得しており、保守されている製品というよりは、エージェント型動画編集の注目すべき参照設計となっています。
真価を発揮する場面
エージェントプランニングに取り組む機械学習研究者
メディアタスク向けのグラフベースのマルチエージェントプランナーを再現および拡張することです。
Claudeをルーターとしてフレームワークを実行し、独自のエージェントに差し替えて、論文の振り返りラウンドの結果と比較します。評価セットは自身で構築することが前提となります。なお、VideoEditベンチマークの一般公開はissueで要望されています。
AI編集機能の導入を検討しているショート動画スタートアップのエンジニア
内製化に着手する前に、意図分析とツールルーティングがどのように機能するかを確認することです。
意図からエージェントへのマッピングおよび絵コンテ検索のコードを読み、自社保有の映像でテストします。現状のまま本番提供するには、非商用のFish SpeechやImageBindコンポーネントを置き換え、タスクごとに4つのLLMプロバイダーへの支払いを行う必要があります。
AI動画制作を教える大学のメディア研究室
講義の録画データを用いて、自動化された解説動画や要約動画のデモを行うことです。
8 GB GPU上で、Whisperによる文字起こし、GPTおよびGeminiのキーを使用し、概要生成とQ&Aのパスを実行します。非商用の教育目的であれば、同梱されているモデルのライセンス範囲内に収まります。
導入前に確認すること
- 導入
- リポジトリをクローンし、Python 3.10環境のConda環境を作成し、pyniniとffmpegをインストールして、requirementsをpip installします。その後、必要に応じてCosyVoice、Fish Speech、Seed-VC、DiffSinger、Whisper、ImageBindのチェックポイントをダウンロードします。python main.pyを実行し、プロンプトで要求を入力します。
- 連携
- config.yml経由でClaude（エージェント型グラフルーターに必須）、DeepSeek、OpenAI、GeminiのAPIと連携します。また、コントリビューターからオプトイン形式のTwelveLabs Pegasusエージェントが提案されています。
- データとプライバシー
- 動画フレーム、文字起こし、プロンプトは、設定したホスト型LLMプロバイダーに送信されます。コードはMITですが、Fish Speech 1.5とImageBindの重みはCC BY-NC-SA 4.0であるため、これらのパスの商用利用は除外されます。
- 大規模利用時のコスト
- ローカルモデルは8 GB GPUで動作しますが、タスクごとに4つのLLMプロバイダーへの課金が発 生し、振り返りラウンドによってプランナーの呼び出し回数が増加します。ホスト版や有料版は存在しません。
- 制限
- リリースやバージョニングがなく、2025年以降の保守は限定的であり、ルーティングの失敗（「There is no suitable agent」）や依存関係の競合が報告されています。インターフェースはコンソールプロンプトであり、エディタ画面はありません。
良い点
- 意図の分解と自己修正型のワークフローグラフを備えており、EMNLP論文に記録されています
- 理解、編集、生成的リミックスを1つのフレームワークでカバーしています
- ローカルモデルは8 GB GPUで動作します
- MITライセンスのコードです
気になる点
- Claude、DeepSeek、OpenAI、GeminiのAPIキーが必要です
- Fish Speech 1.5とImageBindの重みは非商用利用に限定されています
- リリースがなく、2026年のコミットは6件のみです
- オープンなissueにおいて、エージェントルーティングの失敗や依存関係の競合が報告されています
おすすめの人
信頼性の高い編集ツールを必要とするチームよりも、マルチエージェントによる動画パイプラインの計画手法を研究する研究者やエンジニアに適しています。
VideoAgentの代替
VideoAgent：よくある質問
- VideoAgentは使う価値があるか？
- VideoAgentは印象的な論文デモである一方、実行には手間がかかり、4つのAPIキーと2つの非商用モデ ルライセンスによって維持されています。 評価は5点満点中3.2点です。
- VideoAgentの料金は？
- MITライセンスのもとで無料です。実行にはClaudeの有料APIキーに加え、機能ごとにDeepSeek、OpenAI、Geminiのキーが必要です。同梱されている一部のモデルは非商用利用に限定されています。
- VideoAgentの欠点は？
- Claude、DeepSeek、OpenAI、GeminiのAPIキーが必要です; Fish Speech 1.5とImageBindの重みは非商用利用に限定されています; リリースがなく、2026年のコミットは6件のみです; オープンなissueにおいて、エージェントルーティングの失敗や依存関係の競合が報告されています.
- VideoAgentは誰に向いているか？
- 信頼性の高い編集ツールを必要とするチームよりも、マルチエージェントによる動画パイプラインの計画手法を研究する研究者やエンジニアに適しています。
- チームや本番環境でVideoAgentを使うと費用はいくらか？
- ローカルモデルは8 GB GPUで動作しますが、タスクごとに4つのLLMプロバイダーへの課金が発生し、振り返りラウンドによってプランナーの呼び出し回数が増加します。ホスト版や有料版は存在しません。
- VideoAgentは企業データを扱っても安全か？
- 動画フレーム、文字起こし、プロンプトは、設定したホスト型LLMプロバイダーに送信されます。コードはMITですが、Fish Speech 1.5とImageBindの重みはCC BY-NC-SA 4.0であるため、これらのパスの商用利用は除外されます。
- VideoAgentの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はComfyUI 、 LightRAGです。
回答確認日：2026年10月26日