Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

EAGLE-4

Entwurfsmodelle für spekulatives Decoding und ein selbstabstimmender Harness für SGLang, vLLM und TokenSpeed, unter einer Source-Available-Lizenz.

Getestet von ReviewRamble editors · Aktualisiert

Auf GitHub ansehen Kostenlos

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

3.9/5

EAGLE-4 ist die am sorgfältigsten gemessene Veröffentlichung zu spekulativem Decoding, die wir gelesen haben, mit 3,42-mal schnelleren Einzelanfragen in SGLang, deckt aber ein öffentliches Modell ab, lohnt sich vor allem bei geringer Parallelität und kommt mit einer Lizenz, die ab 20 Millionen US$ Umsatz greift.

Was ist EAGLE-4?

EAGLE-4 beschleunigt das Serving großer Sprachmodelle mit spekulativem Decoding: Ein kleines Entwurfsmodell schlägt mehrere Tokens vor, und das Zielmodell prüft sie in einem Durchgang, sodass die Ausgabe dieselbe ist wie beim Zielmodell allein. Dieses Repository enthält eagle-harness, das Paket, das EAGLE-4-Entwürfe in SGLang, vLLM und TokenSpeed einbindet und anhand von Kosten, die es auf deinem Rechner misst, entscheidet, wie weit spekuliert wird, sodass die Entwurfsbäume mit wachsendem Batch schrumpfen.

Herausgeber ist Eagle AI Corp, nach eigenen Angaben aufbauend auf EAGLE, EAGLE-2 und EAGLE-3. Der erste öffentliche Entwurf ist für Qwen3.8-27B. Das Repository wurde am 20. Oktober 2026 angelegt, hat rund 1.221 Sterne, liefert Docker-Images und Wheels und veröffentlichte v0.1.5 am 1. November 2026. Es ist Source-Available, nicht Open Source.

Lohnt sich EAGLE-4?

Spekulatives Decoding hilft meist einem ruhigen Server und schadet einem ausgelasteten: Das Entwerfen von Tokens kostet Rechenzeit, die ein voller Batch lieber für echte Arbeit nutzen würde. EAGLE-4 antwortet mit einem Harness, der Live-Kosten auf deiner Hardware misst und jeden Entwurfsbaum an den aktuellen Batch anpasst, damit du die Spekulation eingeschaltet lassen kannst. Auf vier NVIDIA-B300-GPUs mit Qwen3.8-27B meldet die Support-Matrix für SGLang das 3,42-Fache des normalen Decodings bei einer Anfrage, 2,09 bei 8 parallelen und 1,39 bei 64; für vLLM 2,83, 1,72 und 1,14; für TokenSpeed 3,09, 2,02 und 1,41. Auf einer AMD MI355X lief SGLang bei 8 Anfragen 2,07-mal und bei 32 1,56-mal schneller.

Die Dokumentation ist ungewöhnlich offen darüber, wo die Gewinne enden. Die Seite mit bekannten Grenzen sagt, dass der Schnellstart-Befehl für SGLang im README bei hoher Last auf normales Decoding zurückfällt und auf einer B300 bei 64, 128 und 256 parallelen Anfragen das 1,00-Fache maß. Ein eigenes Hochlast-Rezept auf vier GPUs hält bis 512 Anfragen mit normalem Decoding mit. vLLM und TokenSpeed wechseln noch nicht auf normales Decoding und können über 64 Anfragen langsamer sein als ohne Spekulation, also rät die Dokumentation, sie dort abzuschalten. Korrektheit wird gegen eine fp32-Regel geprüft statt angenommen, und die Seite listet die Prompts, bei denen Ausgaben abweichen.

Der Umfang ist schmal. Die Messungen decken ein öffentliches Paar aus Ziel- und Entwurfsmodell ab, Qwen3.8-27B, dazu Nemotron 3.5 Super, auf B300 und MI355X; andere Architekturen, Multi-Node-Setups und Pipeline-Parallelität gelten als noch in Qualifizierung. Der Schnellstart lädt rund 62 GB und braucht einen CUDA-13-Treiber, und pip-Installationen fixieren einen gepatchten SGLang-Build aus Eagles eigenem Wheel-Index.

Die Lizenz ist die eigentliche Entscheidung. Die Eagle 4 Source-Available License erlaubt kommerzielle Nutzung nur unter 20 Millionen US$ Gesamtumsatz in beliebigen 12 Monaten, verbietet konkurrierende Angebote rundweg und wertet Klonen oder Forken als Zustimmung. Eagle AI Corp bestimmt außerdem, wie angenommene Beiträge lizenziert werden. Die in SGLang und vLLM selbst eingebauten Optionen für spekulatives Decoding haben keine dieser Bedingungen.

Wo es sich lohnt

  • Ein Inference-Ingenieur bei einem Start-up mit einem Coding-Assistenten auf Qwen3.8-27B

    Die Latenz pro Anfrage für einzelne Nutzer senken, ohne die Antworten zu ändern

    SGLang mit dem EAGLE-4-Entwurf und dem Harness betreiben; die Support-Matrix zeigt das 3,42-Fache des normalen Decodings bei einer Anfrage auf vier B300. Kostenlos, solange die Firma unter 20 Millionen US$ Umsatz bleibt.

  • Ein Plattformteam mit stoßweisem Verkehr auf AMD MI355X

    Ruhige Stunden beschleunigen, ohne Lastspitzen zu bremsen

    Der AMD-Anleitung folgen; SGLang maß auf einer MI355X das 2,07-Fache bei 8 Anfragen und das 1,56-Fache bei 32. Das Hochlast-Rezept nutzen, damit ausgelastete Phasen auf normales Decoding zurückfallen.

  • Eine Forscherin, die Verfahren für spekulatives Decoding vergleicht

    Ein neues Entwurfsmodell gegen eine gemessene Basis benchmarken

    Die Befehle der Support-Matrix mit dem SPEED-Bench-Client bei Temperatur 0 nachstellen und den Server vorher aufwärmen, weil die ersten Anfragen Kernel kompilieren und Kosten messen.

Bevor du dich festlegst

Einrichtung
Das veröffentlichte SGLang-Docker-Image starten oder eagle-harness per pip mit dem fixierten SGLang-Build in Python 3.12 installieren (braucht das CUDA-Toolkit und einen C++-Compiler). Der erste Start lädt rund 62 GB und kompiliert Kernel.
Integrationen
Engines SGLang, vLLM und TokenSpeed; OpenAI-kompatible Chat Completions aus der Engine; Entwürfe auf Hugging Face unter EAGLE-Corp; ROCm-Builds für AMD MI355X.
Daten und Datenschutz
Läuft komplett auf deinen eigenen GPUs; kein gehosteter Dienst ist beteiligt. Das Docker-Beispiel veröffentlicht Port 30000 nur auf 127.0.0.1, und im Schnellstart ist kein API-Schlüssel gesetzt, also füge einen hinzu, bevor du den Server freigibst.
Kosten im großen Maßstab
Keine Gebühr unter der Lizenzschwelle; Firmen mit mehr als 20 Millionen US$ Umsatz in 12 Monaten oder mit einem Konkurrenzprodukt brauchen eine kommerzielle Vereinbarung, deren Preis nicht veröffentlicht ist.
Grenzen
Nur auf B300 und MI355X gemessen; Multi-Node und Pipeline-Parallelität noch nicht qualifiziert; vLLM und TokenSpeed können über 64 parallelen Anfragen langsamer sein als normales Decoding; der deterministische Modus schaltet die Spekulation bei hoher Last ab.

Was gut ist

  • Entwurfsbäume nach live gemessenen Kosten bemessen, die Spekulation kann eingeschaltet bleiben
  • Einzelanfragen bis zu 3,42-mal schneller bei gleicher Ausgabe wie das Zielmodell
  • Veröffentlichte Support-Matrix mit Tokens/s, Korrektheitsprüfungen und Methode
  • Läuft mit SGLang, vLLM und TokenSpeed, auf NVIDIA und AMD

Was nicht

  • Source-Available: kommerzielle Nutzung bis 20 Millionen US$ Umsatz, keine konkurrierenden Angebote
  • Bei 64 parallelen Anfragen schrumpft der Gewinn auf etwa das 1,1- bis 1,4-Fache
  • Zum Start ein öffentliches Entwurfsmodell; andere Hardware noch nicht qualifiziert
  • Fixiert gepatchte Engine-Builds aus Eagles eigenem Wheel-Index

Am besten für

Teams unter der Umsatzschwelle der Lizenz, die Qwen3.8-27B auf B300- oder MI355X-GPUs bei geringer bis mittlerer Parallelität ausliefern.

Alternativen zu EAGLE-4

EAGLE-4: häufige Fragen

Lohnt sich EAGLE-4?
EAGLE-4 ist die am sorgfältigsten gemessene Veröffentlichung zu spekulativem Decoding, die wir gelesen haben, mit 3,42-mal schnelleren Einzelanfragen in SGLang, deckt aber ein öffentliches Modell ab, lohnt sich vor allem bei geringer Parallelität und kommt mit einer Lizenz, die ab 20 Millionen US$ Umsatz greift. Wir bewerten es mit 3.9 von 5.
Was kostet EAGLE-4?
Kostenlos nutzbar unter der Eagle 4 Source-Available License für Organisationen mit weniger als 20 Millionen US$ Umsatz in beliebigen 12 Monaten, die kein Konkurrenzprodukt anbieten; darüber eine separate kommerzielle Lizenz mit unveröffentlichtem Preis.
Welche Nachteile hat EAGLE-4?
Source-Available: kommerzielle Nutzung bis 20 Millionen US$ Umsatz, keine konkurrierenden Angebote; Bei 64 parallelen Anfragen schrumpft der Gewinn auf etwa das 1,1- bis 1,4-Fache; Zum Start ein öffentliches Entwurfsmodell; andere Hardware noch nicht qualifiziert; Fixiert gepatchte Engine-Builds aus Eagles eigenem Wheel-Index.
Für wen eignet sich EAGLE-4?
Teams unter der Umsatzschwelle der Lizenz, die Qwen3.8-27B auf B300- oder MI355X-GPUs bei geringer bis mittlerer Parallelität ausliefern.
Was kostet EAGLE-4 für ein Team oder im Produktivbetrieb?
Keine Gebühr unter der Lizenzschwelle; Firmen mit mehr als 20 Millionen US$ Umsatz in 12 Monaten oder mit einem Konkurrenzprodukt brauchen eine kommerzielle Vereinbarung, deren Preis nicht veröffentlicht ist.
Ist EAGLE-4 sicher für Firmendaten?
Läuft komplett auf deinen eigenen GPUs; kein gehosteter Dienst ist beteiligt. Das Docker-Beispiel veröffentlicht Port 30000 nur auf 127.0.0.1, und im Schnellstart ist kein API-Schlüssel gesetzt, also füge einen hinzu, bevor du den Server freigibst.
Was sind die besten Alternativen zu EAGLE-4?
Die nächsten Alternativen, die wir getestet haben, sind SGLang, vLLM und TensorRT-LLM.

Antworten geprüft am 21. Nov. 2026.