¿Qué es VideoAgent?
VideoAgent es un framework de investigación del Data Intelligence Lab de la Universidad de Hong Kong (HKUDS, que también está detrás de LightRAG y VideoRAG), que acompaña a un artículo de EMNLP 2026. Describes el vídeo que quieres en lenguaje natural; el sistema divide la petición en subobjetivos explícitos e implícitos, los asigna a agentes especializados y construye un flujo de trabajo en forma de grafo que comprueba y revisa en un bucle de retroalimentación. Entre los trabajos hay preguntas y resúmenes sobre vídeo, montajes de películas sincronizados con el ritmo, vídeos con comentario, versiones de memes, videoclips y adaptaciones de comedia a otro idioma.
Por dentro encadena modelos abiertos de voz y audio (CosyVoice, Fish Speech 1.5, Seed-VC, DiffSinger, Whisper large-v3-turbo) e ImageBind para la recuperación, con LLM alojados encargados de la planificación. El código es Python con licencia MIT; no hay versiones etiquetadas, y la mayor parte del código llegó en julio de 2025, con un puñado de correcciones en junio y julio de 2026.
¿Merece la pena VideoAgent?
VideoAgent merece más una lectura que un despliegue. Su aportación es la capa de planificación: un router en grafo que convierte un encargo vago ('convierte este guion de stand-up en un especial con imágenes a juego') en una cadena de agentes para transcripción, recuperación, clonación de voz, síntesis de canto y edici ón, y después puntúa y repara esa cadena a lo largo de varias rondas de reflexión. Los autores informan de una tasa de éxito en la composición de flujos de trabajo de 0,95 en sus configuraciones y de mejores resultados con Claude 3.7 que con GPT-4o o DeepSeek-V3 como planificador; son las cifras del propio artículo sobre sus propios datasets.
Ejecutarlo es un ejercicio de laboratorio de investigación. El README pide una GPU de 8 GB, Conda con Python 3.10, pynini y ffmpeg, y luego seis descargas de modelos por separado. La configuración necesita Claude para el router, que es obligatorio, más claves de DeepSeek, OpenAI y Gemini para remezclar, editar y generar descripciones detalladas, respectivamente. Las issues abiertas incluyen agentes que fallan con 'There is no suitable agent', fallos en la evaluación del grafo y conflictos de dependencias entre las distintas formas de instalación, y una pull request de julio de 2026 corrigió caídas del orquestador y un eval() inseguro en el código multiagente.
Las licencias hay que comprobarlas antes de cualquier uso comercial. El código es MIT, pero los pesos de Fish Speech 1.5 y de ImageBind son ambos CC BY-NC-SA 4.0, así que las rutas predeterminadas de clonación de voz y de recuperación son no comerciales. Los vídeos de demostración remezclan películas y emisiones sacadas de internet, y el README dice que son solo para investigación; la herramienta en sí no hace nada respecto a los derechos de las imágenes que le des.
La actividad ha bajado: 236 commits en julio de 2025, menos de diez al mes a partir de entonces y seis commits en 2026. Con 1.973 estrellas es un diseño de referencia muy seguido para la edición de vídeo con agentes, más que un producto mantenido.
Dónde se gana su sitio
Un investigador de machine learning que trabaja en planificación de agentes
Reproducir y ampliar un planificador multiagente basado en grafos para tareas multimedia
Ejecuta el framework con Claude como router, sustituye agentes por los tuyos y compara con los resultados de las rondas de reflexión del artículo. Cuenta con montar tu propio conjunto de evaluación; en las issues se ha pedido una publicación del benchmark VideoEdit.
Un ingeniero en una startup de vídeo corto que estudia una función de edición con IA
Ver cómo podrían funcionar el análisis de intenciones y el enrutado de herramientas antes de desarrollarlo internamente
Lee el código de asignación de intenciones a agentes y de recuperación de storyboards, y pruébalo con imágenes propias. Lanzarlo tal cual obligaría a sustituir los componentes no comerciales de Fish Speech e ImageBind y a pagar a cuatro proveedores de LLM por cada trabajo.
Un laboratorio universitario de medios que enseña producción de vídeo con IA
Demostrar vídeos automáticos de comentario y resumen sobre grabaciones de clases
Usa las rutas de resumen y de preguntas y respuestas con la transcripción de Whisper y las claves de GPT y Gemini, en una GPU de 8 GB. La docencia no comercial entra dentro de las licencias de los modelos incluidos.
Antes de decidirte
- Puesta en marcha
- Clona el repositorio, crea un entorno de Conda con Python 3.10, instala pynini y ffmpeg, instala los requisitos con pip y descarga los checkpoints de CosyVoice, Fish Speech, Seed-VC, DiffSinger, Whisper e ImageBind según los necesites. Ejecuta python main.py y escribe un requisito en el prompt.
- Integraciones
- Claude (obligatorio para el router en grafo de agentes), y las APIs de DeepSeek, OpenAI y Gemini mediante config.yml; un contribuidor ha propuesto un agente opcional de TwelveLabs Pegasus.
- Datos y privacidad
- Los fotogramas de vídeo, las transcripciones y los prompts se envían a los proveedores de LLM alojados que configures. El código es MIT; los pesos de Fish Speech 1.5 y de ImageBind son CC BY-NC-SA 4.0, lo que excluye el uso comercial de esas rutas.
- Coste a escala
- Los modelos locales funcionan en una GPU de 8 GB; cada trabajo además genera gasto con cuatro proveedores de LLM, y las rondas de reflexión multiplican las llamadas al planificador. No existe edición alojada ni de pago.
- Límites
- Sin versiones ni numeración de versiones, mantenimiento escaso desde 2025, fallos de enrutado notificados ('There is no suitable agent') y conflictos de dependencias. La interfaz es un prompt de consola, no un editor.
Lo bueno
- Descomposición de intenciones y grafo de flujo de trabajo que se autocorrige, documentados en un artículo de EMNLP
- Cubre comprensión, edición y versiones generativas en un solo framework
- Los modelos locales funcionan en una GPU de 8 GB
- Código con licencia MIT
Lo malo
- Necesita claves de API de Claude, DeepSeek, OpenAI y Gemini
- Los pesos de Fish Speech 1.5 y de ImageBind son de uso no comercial
- Sin versiones; seis commits en 2026
- Las issues abiertas informan de fallos de enrutado de agentes y conflictos de dependencias
Ideal para
Investigadores e ingenieros que estudian cómo planificar pipelines de vídeo multiagente, más que equipos que necesitan una herramienta de edición fiable.
Alternativas a VideoAgent
VideoAgent: preguntas frecuentes
- ¿Merece la pena VideoAgent?
- VideoAgent es una demo de artículo impresionante y algo incómodo de ejecutar, sostenido por cuatro claves de API y dos licencias de modelos no comerciales. Le damos un 3.2 sobre 5.
- ¿Cuánto cuesta VideoAgent?
- Gratuito con MIT. Para ejecutarlo hacen falta claves de API de pago de Claude, además de DeepSeek, OpenAI y Gemini para distintas funciones; algunos modelos incluidos son de uso no comercial.
- ¿Qué inconvenientes tiene VideoAgent?
- Necesita claves de API de Claude, DeepSeek, OpenAI y Gemini; los pesos de Fish Speech 1.5 y de ImageBind son de uso no comercial; sin versiones; seis commits en 2026; las issues abiertas informan de fallos de enrutado de agentes y conflictos de dependencias.
- ¿Para quién es VideoAgent?
- Investigadores e ingenieros que estudian cómo planificar pipelines de vídeo multiagente, más que equipos que necesitan una herramienta de edición fiable.
- ¿Cuánto cuesta VideoAgent para un equipo o en producción?
- Los modelos locales funcionan en una GPU de 8 GB; cada trabajo además genera gasto con cuatro proveedores de LLM, y las rondas de reflexión multiplican las llamadas al planificador. No existe edición alojada ni de pago.
- ¿Es VideoAgent seguro para los datos de la empresa?
- Los fotogramas de vídeo, las transcripciones y los prompts se envían a los proveedores de LLM alojados que configures. El código es MIT; los pesos de Fish Speech 1.5 y de ImageBind son CC BY-NC-SA 4.0, lo que excluye el uso comercial de esas rutas.
- ¿Cuáles son las mejores alternativas a VideoAgent?
- Las alternativas más cercanas que hemos analizado son ComfyUI y LightRAG.
Respuestas comprobadas el 26 oct 2026.