Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Noticias e investigación de IA

Investigación ·

MMFlash acelera hasta 3,58 veces los modelos de visión y lenguaje con la misma salida

MMFlash, un preprint de la National University of Singapore, adapta la decodificación especulativa basada en difusión a modelos que leen imágenes y vídeo. Los autores vieron que los tokens de borrador que dependen mucho de la imagen solo se aceptaban el 22% de las veces, frente al 46% de los menos visuales, así que el entrenamiento les da más peso. Las aceleraciones sin pérdida llegan a 3,58 veces, por delante de EAGLE-3 y DFlash.

Los modelos de visión y lenguaje son lentos por la misma razón que los chatbots: escriben un token cada vez. La decodificación especulativa lo acelera dejando que un modelo borrador pequeño adivine varios tokens por delante mientras el modelo grande los comprueba de una pasada, quedándose solo con los que acepta. MMFlash, un preprint de la National University of Singapore, hace que esto funcione mejor cuando el modelo lee imágenes y vídeo.

El equipo partió de DFlash, un borrador reciente que usa difusión por bloques para proponer un bloque entero de tokens en una sola pasada. Midieron cuánto depende cada token de la imagen comparando las predicciones del modelo con y sin ella. El resultado fue claro: los tokens con menos dependencia visual se aceptaban el 46% de las veces, y los más visuales solo el 22%. El cuarto más visual causaba el 44% de los primeros rechazos en un bloque de borrador. Entrenar con datos multimodales no cerró la brecha.

La solución de MMFlash es dar más peso en el entrenamiento a los tokens visuales que el borrador aún predice mal, y reducirlo a medida que mejora. Para vídeos largos, el borrador usa un patrón de atención dispersa que reduce un contexto de más de 40.000 tokens a unos 1.600. En siete pruebas de imagen con modelos Qwen3.5, las aceleraciones medias fueron de 3,00 a 3,05 con decodificación voraz, entre un 10,3% y un 10,9% por encima de DFlash. En tres pruebas de vídeo largo, un ajuste corto con 2.000 muestras dio aceleraciones de 2,33 a 2,71. También funcionó con Gemma4-E4B y Qwen3.8-27B, con aceleraciones de hasta 4,71 en el modelo mayor.

Como el modelo grande comprueba cada token, la salida es idéntica a la decodificación normal. Eso lo convierte en una optimización de bajo riesgo para equipos que sirven modelos abiertos como Qwen 3.8 27B o Gemma 4 con SGLang o vLLM, y el código y los borradores están publicados.

La pega aparece con carga. En SGLang, una prueba con Qwen3.5-4B pasó de una aceleración de 3,46 veces con una petición a 1,61 veces con 32 a la vez, porque un servidor ocupado ya mantiene el hardware en uso. El 3,58 del titular es el mejor caso. El artículo es un preprint marcado como trabajo en curso, los resultados son de los propios autores y el borrador para vídeo sigue siendo más difícil que para imágenes.

Nuestra opinión: Para quien sirva modelos de visión de Qwen o Gemma es una mejora barata, porque la salida no cambia. Los resultados son de los propios autores, y la aceleración cae mucho cuantas más peticiones se ejecutan a la vez, que es como funcionan la mayoría de servidores en producción.

Nuestras reseñas:Qwen3.8-27BGemma 4

Fuente: arXiv (Hugging Face Daily Papers)

Más historias