Qu’est-ce que VideoAgent ?
VideoAgent est un framework de recherche du Data Intelligence Lab de l'Université de Hong Kong (HKUDS, aussi derrière LightRAG et VideoRAG), accompagnant un article EMNLP 2026. Vous décrivez la vidéo que vous voulez en langage simple ; le système décompose la demande en sous-objectifs explicites et implicites, les mappe à des agents spécialisés et construit un workflow en forme de graphe qu'il vérifie et révise dans une boucle de rétroaction. Les travaux incluent le question-réponse et les résumés vidéo, les montages de films synchronisés au rythme, les vidéos de commentaire, les refontes de mèmes, les clips musicaux et les adaptations comiques interlingues.
En coulisse, il enchaîne des modèles ouverts pour la parole et l'audio (CosyVoice, Fish Speech 1.5, Seed-VC, DiffSinger, Whisper large-v3-turbo) et ImageBind pour la récupération, avec des LLM hébergés faisant la planification. Le code est du Python sous licence MIT ; il n'y a pas de versions taguées, et l'essentiel du code a atterri en juillet 2025, avec une poignée de correctifs en juin et juillet 2026.
VideoAgent vaut-il le coup ?
VideoAgent vaut plus la lecture que le déploiement. Sa contribution est la couche de planification : un routeur de graphe qui transforme un brief vague (« transforme ce script de stand-up en un spécial avec des images correspondantes ») en une chaîne d'agents pour la transcription, la récupération, le clonage de voix, la synthèse de chant et le montage, puis note et répare cette chaîne sur plusieurs rounds de réflexion. Les auteurs rapportent un taux de succès de composition de workflow de 0,95 sur leurs configurations et de meilleurs résultats avec Claude 3.7 qu'avec GPT-4o ou DeepSeek-V3 comme planificateur ; ce sont les propres chiffres de l'article sur ses propres jeux de données.
Le faire tourner est un exercice de laboratoire de recherche. Le README demande un GPU de 8 Go, Conda avec Python 3.10, pynini et ffmpeg, puis six téléchargements de modèles séparés. La configuration a besoin de Claude pour le routeur, qui est obligatoire, plus des clés DeepSeek, OpenAI et Gemini pour le remix, le montage et le sous-titrage fin respectivement. Les issues ouvertes incluent des agents qui échouent avec « There is no suitable agent », des échecs de jugement de graphe et des conflits de dépendances entre chemins d'installation, et une pull request de juillet 2026 a corrigé des crashs d'orchestrateur et un eval() non sûr dans le code multi-agents.
Les licences ont besoin d'être vérifiées avant tout usage commercial. Le code est MIT, mais les poids de Fish Speech 1.5 et d'ImageBind sont tous deux CC BY-NC-SA 4.0, si bien que les chemins de clonage de voix et de récupération par défaut sont non commerciaux. Les vidéos de démo remixent des films et émissions tirés d'internet, et le README dit qu'elles sont pour la recherche seulement ; l'outil lui-même ne fait rien sur les droits des images que vous lui donnez.
L'activité s'est amincie : 236 commits en juillet 2025, des chiffres à un chiffre par mois ensuite, et six commits en 2026. Avec 1 973 étoiles, c'est une conception de référence bien observée pour le montage vidéo agentique plutôt qu'un produit maintenu.
Là où il fait la différence
Un chercheur en apprentissage automatique qui travaille sur la planification d'agents
Reproduire et étendre un planificateur multi-agents basé sur un graphe pour les tâches média
Faites tourner le framework avec Claude comme routeur, substituez vos propres agents, et comparez aux résultats de round de réflexion de l'article. Attendez-vous à assembler votre propre ensemble d'évaluation ; une sortie publique du benchmark VideoEdit a été demandée dans les issues.
Un ingénieur dans une start-up de vidéo courte qui cadre une fonction de montage IA
Voir comment l'analyse d'intention et le routage d'outils pourraient fonctionner avant de construire en interne
Lisez le mappage intention-vers-agent et le code de récupération de storyboard, et testez-le sur des images possédées. Le livrer tel quel signifierait remplacer les composants non commerciaux Fish Speech et ImageBind et payer quatre fournisseurs de LLM par travail.
Un laboratoire média universitaire qui enseigne la production vidéo IA
Démontrer des vidéos de commentaire et de résumé automatisées sur des enregistrements de cours
Utilisez les chemins d'aperçu et de Q&R avec la transcription Whisper et les clés GPT et Gemini, sur un GPU de 8 Go. L'enseignement non commercial se situe dans les licences des modèles inclus.
Avant de vous engager
- Mise en route
- Clonez, créez un env Conda avec Python 3.10, installez pynini et ffmpeg, pip install les prérequis, puis téléchargez les checkpoints CosyVoice, Fish Speech, Seed-VC, DiffSinger, Whisper et ImageBind selon le besoin. Lancez python main.py et tapez une exigence à l'invite.
- Intégrations
- Claude (requis pour le routeur de graphe agentique), API DeepSeek, OpenAI et Gemini via config.yml ; un agent TwelveLabs Pegasus sur activation a été proposé par un contributeur.
- Données et confidentialité
- Les images vidéo, transcriptions et prompts sont envoyés aux fournisseurs de LLM hébergés que vous configurez. Le code est MIT ; les poids de Fish Speech 1.5 et d'ImageBind sont CC BY-NC-SA 4.0, ce qui exclut l'usage commercial de ces chemins.
- Coût à grande échelle
- Les modèles locaux tournent sur un GPU de 8 Go ; chaque travail facture aussi quatre fournisseurs de LLM, et les rounds de réflexion multiplient les appels de planificateur. Aucune édition hébergée ou payante n'existe.
- Limites
- Pas de versions ni de versionnement, maintenance clairsemée depuis 2025, échecs de routage rapportés (« There is no suitable agent ») et conflits de dépendances. L'interface est une invite console, pas un éditeur.
Les points forts
- Décomposition d'intention et graphe de workflow auto-correcteur, documentés dans un article EMNLP
- Couvre la compréhension, le montage et les refontes génératives dans un seul framework
- Tourne sur un GPU de 8 Go pour les modèles locaux
- Code sous licence MIT
Les points faibles
- A besoin des clés d'API Claude, DeepSeek, OpenAI et Gemini
- Les poids de Fish Speech 1.5 et d'ImageBind sont non commerciaux
- Pas de versions ; six commits en 2026
- Les issues ouvertes rapportent des échecs de routage d'agents et des conflits de dépendances
Idéal pour
Les chercheurs et ingénieurs qui étudient comment planifier des pipelines vidéo multi-agents, plutôt que les équipes qui ont besoin d'un outil de montage fiable.
Alternatives à VideoAgent
VideoAgent : questions fréquentes
- VideoAgent vaut-il le coup ?
- VideoAgent est une démo d'article impressionnante et une chose gênante à faire tourner, tenue ensemble par quatre clés d'API et deux licences de modèles non commerciales. Nous lui donnons 3.2 sur 5.
- Combien coûte VideoAgent ?
- Gratuit sous MIT. Le faire tourner a besoin de clés d'API payantes pour Claude, plus DeepSeek, OpenAI et Gemini pour différentes fonctions ; certains modèles inclus sont non commerciaux.
- Quels sont les inconvénients de VideoAgent ?
- A besoin des clés d'API Claude, DeepSeek, OpenAI et Gemini; les poids de Fish Speech 1.5 et d'ImageBind sont non commerciaux; pas de versions ; six commits en 2026; les issues ouvertes rapportent des échecs de routage d'agents et des conflits de dépendances.
- À qui s’adresse VideoAgent ?
- Les chercheurs et ingénieurs qui étudient comment planifier des pipelines vidéo multi-agents, plutôt que les équipes qui ont besoin d'un outil de montage fiable.
- Combien coûte VideoAgent pour une équipe ou en production ?
- Les modèles locaux tournent sur un GPU de 8 Go ; chaque travail facture aussi quatre fournisseurs de LLM, et les rounds de réflexion multiplient les appels de planificateur. Aucune édition hébergée ou payante n'existe.
- VideoAgent est-il sûr pour les données de l’entreprise ?
- Les images vidéo, transcriptions et prompts sont envoyés aux fournisseurs de LLM hébergés que vous configurez. Le code est MIT ; les poids de Fish Speech 1.5 et d'ImageBind sont CC BY-NC-SA 4.0, ce qui exclut l'usage commercial de ces chemins.
- Quelles sont les meilleures alternatives à VideoAgent ?
- Les alternatives les plus proches que nous avons testées sont ComfyUI et LightRAG.
Réponses vérifiées le 26 oct. 2026.