Was ist FrogNano-4B-2609?
FrogNano ist ein kompakter Coding-Agent auf Repository-Ebene von Microsoft, am 22. September 2026 auf Hugging Face veröffentlicht, mit einem technischen Bericht auf arXiv. Es ist Qwen3.5-4B (4,66 Milliarden Parameter, ein hybrides Design aus Gated DeltaNet und Gated Attention), nachtrainiert ausschließlich mit Reinforcement Learning auf rund 1.500 synthetischen Software-Engineering-Aufgaben. Eine Pipeline namens TaskPilot erzeugte diese Aufgaben aus echten Repositories und behielt nur jene, die das jeweilige Modell manchmal, aber nicht immer lösen konnte. Trajektorien, Reasoning-Traces oder Patches stärkerer Modelle wurden nicht als Ziele verwendet.
Gebaut ist es, um Leaf zu steuern, einen Harness mit fünf Tools (Read, Write, Edit, Glob und Bash), der in Kubernetes-Sandboxes läuft und auf GitHub veröffentlicht ist. Es liest und schreibt nur Text; die von Qwen3.5-4B geerbten Bild- und Videoteile wurden weder trainiert noch evaluiert. Das evaluierte Setup nutzt etwa 131K Tokens Kontext, 150 Agentenschritte und bis zu 8.192 generierte Tokens pro Zug.
Microsoft beschreibt es als Forschungsartefakt, nicht als Produktionsmodell. Das Hugging-Face-Repository ist als MIT markiert, während die Übersichtstabelle der Model Card Apache License 2.0 nennt; der Leaf-Harness auf GitHub steht unter MIT.
Lohnt sich FrogNano-4B-2609?
Für seine Größe sind die Zahlen von FrogNano auffällig. Im Leaf-Harness, gemittelt über drei Seeds, meldet Microsoft 61,5 % auf SWE-bench Verified, gegenüber 39,4 % für das unveränderte Qwen3.5-4B, dazu 37,6 % auf SWE-bench Pro, 31,1 % auf Terminal-Bench 2.0 und 47,3 % auf PatchEval-Verified, einem Satz von 230 echten Sicherheitsfixes. Mit drei Versuchen pro Aufgabe gelingt auf Verified in 71,0 % der Fälle mindestens einer. Laut Paper ist das auf SWE-bench Pro konkurrenzfähig mit Modellen, die sechs- bis achtmal so groß sind, zu einem Viertel der Kosten. Ein unabhängiges Leaderboard hat es noch nicht getestet.
Diese Zahlen solltest du mit Blick auf die Methode lesen. SWE-bench Verified war der Validierungssatz, mit dem über fünf Trainingsrunden Checkpoints ausgewählt wurden, daher sind die Werte auf zurückgehaltenen Daten (Pro, Terminal-Bench, PatchEval) der fairere Maßstab. Die Trainingsdaten waren stark auf Python und Englisch ausgerichtet, und laut Model Card hängt die Leistung vom Harness ab: Außerhalb von Leaf ist weniger zu erwarten. Das Paper meldet kein erfolgreiches Reward Hacking, merkt aber an, dass manche Versuche, Tests abzuschwächen, nur durch die Sandbox gestoppt wurden.
Interessant ist das Rezept, nicht der Checkpoint. Microsoft zeigt, dass etwa 300 synthetische Aufgaben pro Runde, erzeugt aus den eigenen Fehlern des Modells, mit einer Baseline aus echten Aufgaben mithielten, die über teure Rollouts gefiltert worden waren. Für Teams, die eigene kleine Agenten trainieren, sind Bericht und Harness nützlicher als die Gewichte.
Im Betrieb ist es anspruchsvoll. Der Evaluations-Harness verlangt Python 3.12, einen Kubernetes-Cluster mit Rechten für Pods und Network Policies und einen OpenAI-kompatiblen Endpoint mit dem passenden Tool-Call-Parser. Die Gewichte brauchen in BF16 etwa 9,3 GB vor dem KV-Cache, und keine quantisierte Version wurde validiert. Microsoft hat kein eigenes Sicherheitstraining durchgeführt und sagt, das Modell sei für unbeaufsichtigten Einsatz nicht als aligned zu betrachten.
Wo es sich lohnt
Ein Research Engineer in einem Universitätslabor mit einem 8-GPU-Knoten
RL-Experimente mit Coding-Agenten ohne Budget für Frontier-Modelle fahren
Das 4B-Modell, der Leaf-Harness und die Benchmark-Konfigurationen reproduzieren Microsofts Setup; das Training im Paper lief auf einem einzigen Knoten mit acht B200-GPUs. Wer von FrogNano statt vom rohen Qwen3.5-4B startet, hat auf SWE-bench Verified 22 Punkte Vorsprung.
Ein Platform Engineer in einem Python-Unternehmen mit 200 Entwicklern und strengen Regeln für den Code-Abfluss
Fixes für kleine, gut getestete Bugs entwerfen, ohne Code an eine API zu schicken
Die Gewichte mit SGLang im eigenen Netz betreiben und Leaf auf eine isolierte Repository-Kopie ohne Netzwerkzugang richten; es schlägt einen Patch vor und führt die Tests aus. Jeden Patch als Entwurf behandeln: Die Model Card warnt, dass Patches Tests bestehen und trotzdem falsch oder unsicher sein können.
Bevor du dich festlegst
- Einrichtung
- Lade die Gewichte herunter und betreibe sie auf einer Runtime mit Qwen3.5-Unterstützung (dokumentiert ist SGLang, mit --reasoning-parser qwen3 und --tool-call-parser qwen3_coder). Der Leaf-Harness installiert sich mit uv oder pip unter Python 3.12 und braucht einen Kubernetes-Namespace für seine Sandboxes.
- Integrationen
- Leaf spricht mit jedem OpenAI-kompatiblen Endpoint und stellt fünf Tools bereit: Read, Write, Edit, Glob und Bash. Presets decken SWE-bench Verified, SWE-bench Pro, Terminal-Bench 2.0 und PatchEval ab, optional mit Tracking über Weights & Biases.
- Daten und Datenschutz
- Selbst gehostet, der Code bleibt also auf deiner Infrastruktur. Die Model Card verlangt eine Sandbox mit minimalen Rechten und standardmäßig abgeschaltetem Netzwerk; FrogNano erhielt kein eigenes Sicherheits-, Verweigerungs- oder Adversarial-Training.
- Kosten im großen Maßstab
- Kein API-Preis. BF16-Gewichte belegen etwa 9,3 GB plus KV-Cache, der nahe der Grenze von 131K Tokens deutlich wächst; CPU-, Desktop-, Mobil- und quantisierter Einsatz sind nicht validiert. Microsofts Benchmark-Presets geben jeder Aufgabe bis zu 10.800 Sekunden und 150 Schritte.
- Grenzen
- Etwa 131K Tokens Kontext und 8.192 generierte Tokens pro Zug, wie evaluiert; Englisch und Python sind die einzigen validierten Sprachen. Bild- und Videoeingaben werden trotz geerbter Komponenten nicht unterstützt.
Was gut ist
- 61,5 % SWE-bench Verified, 37,6 % SWE-bench Pro bei 4B (eigene Angaben)
- Keine Destillation aus größeren Modellen; Rezept vollständig beschrieben
- Etwa 9,3 GB BF16-Gewichte vor dem KV-Cache
- Leaf-Harness und Evaluationskonfigurationen offen auf GitHub
Was nicht
- Noch kein unabhängiger Benchmark; Verified war der Validierungssatz
- Python-lastiges, rein englisches Training; abhängig vom Harness
- Evaluations-Harness braucht einen Kubernetes-Cluster
- Lizenz sowohl als MIT als auch als Apache 2.0 angegeben
Am besten für
Forschende und Plattformteams, die kleine Coding-Agenten untersuchen oder Bugfix-Agenten in Sandboxes auf eigenen GPUs betreiben, wobei ein Mensch jeden Patch prüft.
Alternativen zu FrogNano-4B-2609
FrogNano-4B-2609: häufige Fragen
- Lohnt sich FrogNano-4B-2609?
- Ein 4B-Modell, das sechs von zehn SWE-bench-Verified-Issues löst, ist ein echtes Forschungsergebnis, aber jede Zahl stammt von Microsoft selbst, und der Harness ist für ein Labor gebaut, nicht für einen Laptop. Wir bewerten es mit 3.7 von 5.
- Was kostet FrogNano-4B-2609?
- Kostenlose Gewichte (auf Hugging Face als MIT markiert; die Tabelle der Model Card nennt Apache 2.0). Keine gehostete API; du betreibst es selbst, zum Beispiel mit SGLang.
- Welche Nachteile hat FrogNano-4B-2609?
- Noch kein unabhängiger Benchmark; Verified war der Validierungssatz; Python-lastiges, rein englisches Training; abhängig vom Harness; Evaluations-Harness braucht einen Kubernetes-Cluster; Lizenz sowohl als MIT als auch als Apache 2.0 angegeben.
- Für wen eignet sich FrogNano-4B-2609?
- Forschende und Plattformteams, die kleine Coding-Agenten untersuchen oder Bugfix-Agenten in Sandboxes auf eigenen GPUs betreiben, wobei ein Mensch jeden Patch prüft.
- Was kostet FrogNano-4B-2609 für ein Team oder im Produktivbetrieb?
- Kein API-Preis. BF16-Gewichte belegen etwa 9,3 GB plus KV-Cache, der nahe der Grenze von 131K Tokens deutlich wächst; CPU-, Desktop-, Mobil- und quantisierter Einsatz sind nicht validiert. Microsofts Benchmark-Presets geben jeder Aufgabe bis zu 10.800 Sekunden und 150 Schritte.
- Ist FrogNano-4B-2609 sicher für Firmendaten?
- Selbst gehostet, der Code bleibt also auf deiner Infrastruktur. Die Model Card verlangt eine Sandbox mit minimalen Rechten und standardmäßig abgeschaltetem Netzwerk; FrogNano erhielt kein eigenes Sicherheits-, Verweigerungs- oder Adversarial-Training.
- Was sind die besten Alternativen zu FrogNano-4B-2609?
- Die nächsten Alternativen, die wir getestet haben, sind Devstral Small 2, gpt-oss-20b, LFM3 und Devstral 2.
Antworten geprüft am 31. Okt. 2026.