Skip to content
ReviewRamble

The weekly brief

AI, reviewed, in your inbox.

  • New reviews of tools, models, MCP servers and repos, with the verdict up front
  • Re-checked prices and ratings when something changes
  • New analysis pieces as they are published

Models, agents, MCP servers and the tools actually worth your time.

One email a week. Unsubscribe with the link in any brief. How we use your email

FrogNano-4B-2609

El agente de programación de investigación de 4B de Microsoft, entrenado solo con aprendizaje por refuerzo sobre tareas sintéticas: 61,5% en SWE-bench Verified, según sus propios datos.

Reseña de Andrew Miller · Actualizado

Visitar FrogNano-4B-2609 Código abierto

Nuestra nota

3.7/5

Un modelo de 4B que resuelve seis de cada diez incidencias de SWE-bench Verified es un resultado de investigación real, pero todas las cifras son de Microsoft y el harness está pensado para un laboratorio, no para un portátil.

¿Qué es FrogNano-4B-2609?

FrogNano es un agente de programación compacto a nivel de repositorio de Microsoft, publicado en Hugging Face el 22 de septiembre de 2026 con un informe técnico en arXiv. Es Qwen3.5-4B (4.660 millones de parámetros, un diseño híbrido de Gated DeltaNet y atención con compuertas) post-entrenado únicamente con aprendizaje por refuerzo sobre unas 1.500 tareas sintéticas de ingeniería de software. Un pipeline llamado TaskPilot generó esas tareas a partir de repositorios reales y conservó solo las que el modelo del momento podía resolver a veces, pero no siempre. No se usaron como objetivo trayectorias, trazas de razonamiento ni parches de modelos más potentes.

Está hecho para manejar Leaf, un harness de cinco herramientas (Read, Write, Edit, Glob y Bash) que se ejecuta en sandboxes de Kubernetes y está publicado en GitHub. Solo lee y escribe texto; las partes de imagen y vídeo heredadas de Qwen3.5-4B no se entrenaron ni se evaluaron. La configuración evaluada usa unos 131K tokens de contexto, 150 pasos de agente y hasta 8.192 tokens generados por turno.

Microsoft lo describe como un artefacto de investigación, no como un modelo de producción. El repositorio de Hugging Face está etiquetado como MIT, mientras que la tabla resumen de la ficha del modelo dice Apache License 2.0; el harness Leaf en GitHub es MIT.

¿Merece la pena FrogNano-4B-2609?

Las cifras de FrogNano llaman la atención para su tamaño. Dentro del harness Leaf, con la media de tres semillas, Microsoft informa de un 61,5% en SWE-bench Verified, frente al 39,4% del Qwen3.5-4B sin tocar, además de un 37,6% en SWE-bench Pro, un 31,1% en Terminal-Bench 2.0 y un 47,3% en PatchEval-Verified, un conjunto de 230 casos reales de correcciones de seguridad. Con tres intentos por tarea, al menos uno acierta el 71,0% de las veces en Verified. El artículo afirma que eso compite en SWE-bench Pro con modelos de seis a ocho veces su tamaño, a una cuarta parte del coste. Ningún ranking independiente lo ha probado todavía.

Conviene leer esas cifras teniendo en cuenta el método. SWE-bench Verified fue el conjunto de validación usado para elegir checkpoints a lo largo de cinco rondas de entrenamiento, así que las cifras con datos reservados (Pro, Terminal-Bench, PatchEval) son la guía más justa. Los datos de entrenamiento eran sobre todo Python y en inglés, y la ficha dice que el rendimiento depende del harness: fuera de Leaf, espera menos. El artículo no registra ningún reward hacking con éxito, aunque señala que algunos intentos de debilitar los tests solo los frenó el sandbox.

Lo interesante es la receta, no el checkpoint. Microsoft muestra que unas 300 tareas sintéticas por ronda, generadas a partir de los propios fallos del modelo, igualaron a una línea base de tareas reales filtradas mediante rollouts costosos. Para los equipos que entrenan sus propios agentes pequeños, el informe y el harness son más útiles que los pesos.

Como herramienta para ejecutar, es exigente. El harness de evaluación pide Python 3.12, un clúster de Kubernetes con permisos sobre pods y políticas de red, y un endpoint compatible con OpenAI con el parser de llamadas a herramientas adecuado. Los pesos ocupan unos 9,3 GB en BF16 antes de la caché KV, y no se ha validado ninguna versión cuantizada. Microsoft no hizo ningún entrenamiento específico de seguridad y dice que el modelo no debe considerarse alineado para un uso sin supervisión.

Dónde se gana su sitio

  • Un ingeniero de investigación en un laboratorio universitario con un nodo de 8 GPU

    Hacer experimentos de RL con agentes de programación sin presupuesto para modelos frontera

    El modelo de 4B, el harness Leaf y las configuraciones de benchmark reproducen el montaje de Microsoft; el entrenamiento del artículo se hizo en un solo nodo de ocho GPU B200. Partir de FrogNano en lugar del Qwen3.5-4B base da 22 puntos de ventaja en SWE-bench Verified.

  • Un ingeniero de plataforma en una empresa Python de 200 desarrolladores con reglas estrictas sobre la salida de código

    Preparar correcciones para bugs pequeños y bien cubiertos por tests sin enviar código a una API

    Sirve los pesos con SGLang dentro de la red y apunta Leaf a una copia aislada del repositorio sin acceso a la red; propone un parche y ejecuta los tests. Trata cada parche como un borrador: la ficha advierte de que un parche puede pasar los tests y aun así ser incorrecto o inseguro.

Antes de decidirte

Puesta en marcha
Descarga los pesos y sírvelos en un runtime compatible con Qwen3.5 (SGLang es el documentado, con --reasoning-parser qwen3 y --tool-call-parser qwen3_coder). El harness Leaf se instala con uv o pip en Python 3.12 y necesita un namespace de Kubernetes para sus sandboxes.
Integraciones
Leaf habla con cualquier endpoint compatible con OpenAI y expone cinco herramientas: Read, Write, Edit, Glob y Bash. Hay presets para SWE-bench Verified, SWE-bench Pro, Terminal-Bench 2.0 y PatchEval, con seguimiento opcional en Weights & Biases.
Datos y privacidad
Autoalojado, así que el código se queda en tu infraestructura. La ficha del modelo pide un sandbox de privilegios mínimos con la red desactivada por defecto; FrogNano no recibió ningún entrenamiento propio de seguridad, rechazo o adversarial.
Coste a escala
Sin precio de API. Los pesos en BF16 ocupan unos 9,3 GB más la caché KV, que crece bastante cerca del límite de 131K tokens; el uso en CPU, escritorio, móvil y cuantizado no se ha validado. Los presets de benchmark de Microsoft dan a cada tarea hasta 10.800 segundos y 150 pasos.
Límites
Unos 131K tokens de contexto y 8.192 tokens generados por turno, según lo evaluado; inglés y Python son los únicos lenguajes validados. No admite entradas de imagen ni vídeo pese a los componentes heredados.

Lo bueno

  • 61,5% en SWE-bench Verified y 37,6% en SWE-bench Pro con 4B (datos propios)
  • Sin destilación de modelos mayores; receta descrita por completo
  • Unos 9,3 GB de pesos en BF16 antes de la caché KV
  • Harness Leaf y configuraciones de evaluación abiertas en GitHub

Lo malo

  • Aún sin benchmark independiente; Verified fue el conjunto de validación
  • Entrenamiento centrado en Python y solo en inglés; sensible al harness
  • El harness de evaluación necesita un clúster de Kubernetes
  • Licencia indicada a la vez como MIT y Apache 2.0

Ideal para

Investigadores y equipos de plataforma que estudian agentes de programación pequeños, o que ejecutan agentes de corrección de bugs en sandbox en sus propias GPU con una persona revisando cada parche.

Alternativas a FrogNano-4B-2609

FrogNano-4B-2609: preguntas frecuentes

¿Merece la pena FrogNano-4B-2609?
Un modelo de 4B que resuelve seis de cada diez incidencias de SWE-bench Verified es un resultado de investigación real, pero todas las cifras son de Microsoft y el harness está pensado para un laboratorio, no para un portátil. Le damos un 3.7 sobre 5.
¿Cuánto cuesta FrogNano-4B-2609?
Pesos gratuitos (etiquetados como MIT en Hugging Face; la tabla de la ficha dice Apache 2.0). No hay API alojada; lo sirves tú, por ejemplo con SGLang.
¿Qué inconvenientes tiene FrogNano-4B-2609?
Aún sin benchmark independiente; Verified fue el conjunto de validación; entrenamiento centrado en Python y solo en inglés; sensible al harness; el harness de evaluación necesita un clúster de Kubernetes; licencia indicada a la vez como MIT y Apache 2.0.
¿Para quién es FrogNano-4B-2609?
Investigadores y equipos de plataforma que estudian agentes de programación pequeños, o que ejecutan agentes de corrección de bugs en sandbox en sus propias GPU con una persona revisando cada parche.
¿Cuánto cuesta FrogNano-4B-2609 para un equipo o en producción?
Sin precio de API. Los pesos en BF16 ocupan unos 9,3 GB más la caché KV, que crece bastante cerca del límite de 131K tokens; el uso en CPU, escritorio, móvil y cuantizado no se ha validado. Los presets de benchmark de Microsoft dan a cada tarea hasta 10.800 segundos y 150 pasos.
¿Es FrogNano-4B-2609 seguro para los datos de la empresa?
Autoalojado, así que el código se queda en tu infraestructura. La ficha del modelo pide un sandbox de privilegios mínimos con la red desactivada por defecto; FrogNano no recibió ningún entrenamiento propio de seguridad, rechazo o adversarial.
¿Cuáles son las mejores alternativas a FrogNano-4B-2609?
Las alternativas más cercanas que hemos analizado son Devstral Small 2, gpt-oss-20b, LFM3 y Devstral 2.

Respuestas comprobadas el 31 oct 2026.