La generación de vídeo en streaming, en la que un modelo de IA produce un clip largo bloque a bloque y puede recibir nuevas instrucciones sobre la marcha, es cara porque cada bloque nuevo obliga a ejecutar otra vez el modelo. Un nuevo preprint en arXiv describe APEX, una forma de entrenar estos modelos para que funcionen en muy pocos pasos y con menos memoria durante el entrenamiento. Está pensado para investigadores y laboratorios más que para usuarios finales, pero es el tipo de trabajo de eficiencia que acaba decidiendo lo baratas que serán las herramientas de vídeo con IA.
El problema técnico es concreto. Un método habitual para hacer rápidos los modelos de vídeo, llamado Distribution Matching Distillation, necesita dos redes auxiliares durante el entrenamiento: un maestro congelado que representa la salida buena y una red aparte de puntuación falsa que sigue lo que produce el generador en cada momento. En modelos de vídeo grandes, esa segunda red cuesta memoria y cómputo, y hay que mantenerla sincronizada con el generador a medida que cambia. APEX la elimina. Con un truco llamado desplazamiento de condición, el mismo modelo cumple los dos papeles: el prompt de texto normal lo hace generar, y una versión desplazada del prompt lo hace estimar su propia distribución de salida. Se mantiene el maestro congelado del sistema anterior S2-Avatar, junto con su método de entrenamiento Self-Replay Forcing.
La evaluación usa vídeos de 180 segundos. Frente a S2-Avatar, APEX puntúa algo más en cumplimiento de instrucciones en la pista Progressive del banco de pruebas, 3,856 frente a 3,831, y en estética visual, 0,641898 frente a 0,632606. En un estudio humano de 70 casos, los evaluadores prefirieron APEX sobre todo por seguir las instrucciones, con una preferencia neta de +30,0%, y por +4,3% en consistencia y en calidad de vídeo. Con ajustes de entrenamiento equivalentes, usó un 4,4% menos de memoria máxima de GPU por GPU y cada iteración de entrenamiento fue un 9,2% más rápida que con el método de destilación estándar.
Son ahorros modestos, y ese es el titular honesto. Las mejoras en las puntuaciones automáticas son pequeñas, y la ventaja más clara es que el vídeo sigue mejor las instrucciones cambiantes, algo importante para usos interactivos como avatares o narración en directo.
Los límites se ven en el propio resumen. Los evaluadores humanos prefirieron S2-Avatar en calidad del movimiento, la sincronización de audio y vídeo quedó casi siempre empatada y la usabilidad no cambió. El estudio humano es pequeño, la comparación es con un único sistema anterior y se trata de un preprint sin revisión por pares. No se describe publicación de código ni de producto.