Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

KI-News & Forschung

News ·

Edge0 verspricht ein 145B-Modell, das auf einem Laptop mit 29GB Speicher läuft

Edge0 hat Edge0-145B veröffentlicht, ein Mixture-of-Experts-Modell mit rund 10B aktiven Parametern, das Experten auf GPU, Arbeitsspeicher und SSD verteilt, dazu ein 120B-Geschwistermodell. Gemeldet werden 29GB Spitzenspeicher, über 80 Tokens pro Sekunde beim Dekodieren und 86.52 bei Terminal-Bench 2.1. Alle Benchmark-Werte, auch die der Konkurrenz, stammen aus Edge0s eigenen Tests, und eine Lizenz wird nicht genannt.

Ein großes, leistungsfähiges Modell auf dem eigenen Laptop zu betreiben, hieß bisher entweder kleines Modell oder sehr teurer Rechner. Edge0, dessen 35B-Modell für Smartphones wir besprochen haben, präsentiert nun ein Modell mit 145 Milliarden Parametern, das auf einem passend ausgestatteten Laptop mit gemessenen 29GB Spitzenspeicher läuft, Gewichte und Inferenzcode offen veröffentlicht. Halten die Zahlen, rücken ernsthafte lokale Coding-Agenten auf Hardware, die viele Entwickler schon besitzen.

Das Design erklärt, wie der Speicherwert möglich ist. Edge0-145B ist ein Mixture-of-Experts-Modell, bei dem sich jede Gruppe von 64 Experten zwei große Matrizen teilt und jeder Experte nur einen kleinen Satz eigener Parameter behält; pro Schritt sind etwa 10B Parameter aktiv. Die Engine verteilt das Modell auf drei Ebenen: Häufig genutzte Experten bleiben im GPU-Speicher, eine Expertenbibliothek von rund 40GB liegt im Arbeitsspeicher, und etwa 48GB Vokabulardaten liegen auf der SSD und werden bei Bedarf gelesen. CPU und GPU arbeiten parallel, und spekulatives Dekodieren prüft mehrere Kandidaten-Tokens zugleich. Edge0 meldet mehr als 80 Tokens pro Sekunde.

Die Benchmark-Angaben sind stark. Edge0 nennt 64,6 auf DeepSWE 1.1, 86,52 auf Terminal-Bench 2.1, 90,4 auf GPQA-Diamond und 80,6 auf IFBench sowie einen Mittelwert von 72,8 über sechs Benchmarks gegenüber 71,7 für Qwen3.8-Flash-Next, dessen übliche 4-Bit-Bereitstellung es auf 70GB schätzt. Damit läge Edge0 bei etwa 40% dieses Speichers, und ein Laptop mit 48GB wäre die praktische Untergrenze. Vom ersten Tag an unterstützt werden macOS, Windows und Linux, darunter Apples M-Chips und NVIDIA-RTX-Karten.

Für alle, die lokale Modelle mit llama.cpp, Ollama oder LM Studio betreiben, ist das Streaming-Design interessanter als die Parameterzahl. Die meisten Experten außerhalb der GPU zu halten und Vokabular von der SSD zu lesen, ist ein anderer Kompromiss als stärkere Quantisierung und setzt schnellen Speicher voraus. Edge0 sagt zudem, der gesamte Stack sei veröffentlicht, damit sich Ergebnisse nachvollziehen lassen.

Die Zweifel sind erheblich. Edge0s Werte für Qwen, DeepSeek und Claude stammen aus internen Auswertungen, die Speicherangaben der Konkurrenz sind noch nicht gemessene Schätzungen, und der technische Bericht mit dem vollständigen Aufbau steht noch aus. Tempo- und Speicherwerte stammen aus Edge0s eigenen Tests auf nicht näher genannter Laptop-Hardware. Unsere Besprechung der 35B-Version fand sorgfältige Technik, bei der fast jede Tempoangabe von den Herstellern stammte, und diese Vorsicht gilt auch hier, bis unabhängige Messungen vorliegen.

Unser Fazit: Ein Modell dieser Größe auf einem 48GB-Laptop wäre für private Offline-Arbeit relevant, doch die Zahlen sind selbst gemeldet, und die Speicherangaben gehen nicht ganz auf. Unabhängige Messungen und eine klare Lizenz sollten vorliegen, bevor man es 'Open Source' nennt.

Unsere Testberichte:edge0

Quelle: Hacker News

Weitere Artikel