Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Noticias e investigación de IA

Noticias ·

Mistral Large 4 llega a Hugging Face como modelo de pesos abiertos de 1T parámetros

Mistral Large 4 es un modelo de mezcla de expertos con unos 1T parámetros en total, unos 49B activos por token, contexto de 1M tokens y entrada de imágenes, publicado con una licencia que limita su uso como servicio. Es el quinto modelo de pesos abiertos en el índice de Artificial Analysis, resolvió el 93% de los retos de Cybench y funciona en un solo M3 Ultra a unos 15 tokens por segundo.

El modelo estrella de Mistral ya es algo que las empresas pueden descargar y ejecutar en su propio hardware. El artículo de lanzamiento de Hugging Face para Mistral Large 4 explica lo que eso supone en la práctica: un modelo de alrededor de 1 billón de parámetros, de los que unos 49B están activos en cada token, una ventana de contexto de 1M de tokens, entrada de imágenes y soporte desde el primer día en Transformers, vLLM y llama.cpp. Para los equipos de seguridad en particular, es uno de los pocos modelos potentes cuyo comportamiento pueden controlar por completo.

El diseño combina dos tipos de dispersión. Un enrutador elige cuatro de 128 expertos para cada token, más un experto compartido que siempre se ejecuta, y un indexador de atención elige hasta 2.048 posiciones anteriores para cada consulta en lugar de leer todo el contexto. Un codificador Pixtral de 1.6B se encarga de las imágenes. El 29 de octubre ocupaba el quinto puesto entre los modelos de pesos abiertos en el Artificial Analysis Intelligence Index. Entre las puntuaciones de programación publicadas figuran un 61,7% en DeepSWE v1.1 y un 28,3% en Terminal-Bench 4.

La ciberseguridad es su punto fuerte. El modelo resolvió el 93% de 40 retos de Cybench sacados de competiciones de seguridad y obtuvo un 82% en una prueba que le pide reproducir una vulnerabilidad real en software de código abierto y después corregirla. Mistral dice que varios modelos cerrados de frontera puntúan cerca de cero en esa prueba porque se niegan a intentarlo. El argumento a favor de los pesos abiertos aquí es práctico: los defensores no pueden permitirse que el filtro de un proveedor bloquee la respuesta a un incidente, ni que una API se caiga en mitad de uno. El artículo también afirma que el modelo rechaza las peticiones ciberdañinas con más frecuencia, de media, que cualquier otro modelo de pesos abiertos.

Ejecutarlo sigue siendo una empresa seria. Una versión cuantizada a 2 bits cabe en un solo Apple M3 Ultra con 512 GB de memoria, donde Hugging Face midió unos 15 tokens por segundo de salida. La configuración alojada lista para usar de Hugging Face emplea ocho GPU Nvidia H200. Nuestro análisis de Mistral Large 4 señala que las pruebas independientes aún lo sitúan en la zona media entre los grandes modelos abiertos, y ahora es más barato por API que Mistral Medium 3.5, lo que complica vender el modelo más pequeño.

Hay dos pegas que conviene tener en cuenta antes de construir sobre él. La licencia es una MIT modificada que limita su uso como modelo como servicio, así que una empresa que quiera vender acceso alojado necesita un acuerdo aparte. Y el razonamiento no se puede desactivar: los niveles de esfuerzo van de bajo a alto, y pedir ninguno vuelve al valor por defecto, alto, lo que añade latencia y coste a las tareas sencillas. La mayoría de las cifras de rendimiento del artículo proceden de Mistral, y las velocidades con contexto largo que midió Hugging Face caen en picado, hasta unos 3 tokens por segundo con contextos muy largos en cuatro GPU de estación de trabajo.

Nuestra opinión: Para equipos que quieren un modelo abierto potente con buenas capacidades de ciberseguridad y pueden alojarlo ellos mismos, es una opción real. Lee la licencia antes de construir un producto alojado sobre él, y ten en cuenta que el razonamiento no se puede desactivar, lo que añade latencia en tareas simples.

Nuestras reseñas:Mistral Large 4Mistral Medium 3.5

Fuente: Hugging Face

Más historias