Was ist Strata?
Strata ist eine lokale Inferenz-Engine, die um einige große Mixture-of-Experts-Modelle herum gebaut ist: Qwen3.8-Flash-Next (125B Parameter, davon 6B aktiv, plus ein N-Gramm-Embedding mit 51B), Qwen3.6-35B-A3B und DeepSeek V4.1-Flash. Statt das ganze Modell im Grafikspeicher zu brauchen, hält sie die meistgenutzten Experten auf der GPU, alle Experten im Arbeitsspeicher, wo die CPU die fehlenden berechnet, und liest die 28,8 GB große N-Gramm-Tabelle des Modells pro Token zeilenweise von der SSD. Die modelleigene Schicht für Multi-Token-Prediction entwirft Tokens im Voraus.
Sie wird als Desktop-App für Windows, Linux und macOS und als Terminal-Werkzeug (`strata launch`) ausgeliefert, stellt auf localhost OpenAI- und Anthropic-kompatible APIs bereit und enthält einen Coding-Agenten und Bildeingabe. Die unterstützte Hardware reicht von NVIDIA RTX der Serien 20 bis 50 und aktuellen AMD-Radeon-Karten über Intel Arc unter Linux bis zu Apple Silicon, Ryzen AI Max und seit 0.2.7.1 dem NVIDIA DGX Spark.
Das Repository wurde am 24. September 2026 angelegt, steht unter MIT-Lizenz, baut auf Teilen von ggml aus llama.cpp auf und ist fast ausschließlich das Werk eines einzigen Entwicklers, Niko1221, mit 3.594 Commits gegenüber 29 beim nächsten Mitwirkenden.
Lohnt sich Strata?
Strata macht ein offenes Modell in Frontier-Größe auf einem Gaming-PC praktikabel, aber "any consumer hardware" verspricht zu viel. Die Pakete von ISTA-DASLab für Qwen3.8-Flash-Next brauchen zusammen 37,6 GB (Q2_0) bis 54,8 GB (IQ3_S) an RAM und VRAM, und laut Dokumentation muss der RAM die Experten plus rund 10 GB abdecken, ein Rechner mit 64 GB ist also die realistische Untergrenze. Auf einem solchen Rechner sind die Zahlen beeindruckend: Die eigenen Messungen des Projekts auf einer RTX 5070 mit 12 GB und einem Ryzen 5 7600 zeigen 93 Tokens pro Sekunde Ausgabe bei 4K Kontext mit Q2_0 und 53 mit dem hochwertigeren IQ3_S.
Diese Zahlen stammen vom Projekt selbst, sind aber ungewöhnlich gut dokumentiert, und Außenstehende haben eigene hinzugefügt. Ein Bericht aus der Community auf einer Radeon RX 9070 mit 16 GB maß 58,7 Tokens pro Sekunde beim Dekodieren von IQ3_XXS bei 4K, nahe 58 auch bei 130K. Nicht jeder Bericht schmeichelt ihm: Issue #2464, noch offen, beschreibt, wie das Dekodieren von Qwen3.6-35B-A3B auf einer V100 in der Beta 0.2.0 bei 114K Kontext von 109 auf 14,6 Tokens pro Sekunde fiel, während llama.cpp laut dem Melder rund 90 hielt. Lange Prompts brauchen ebenfalls Zeit: Bei 32K Tokens kommt das erste Wort nach rund 25 Sekunden.
Die Sicherheitsdokumentation ist besser als bei den meisten kommerziellen Apps. Sie listet jede Netzwerkverbindung auf, die der Code aufbaut, stellt fest, dass es keine Telemetrie gibt, bindet den Server an 127.0.0.1, weigert sich, ihn ohne API-Key mit anderen Geräten zu teilen, und prüft Updates gegen einen Ed25519-signierten Feed und Modelldateien gegen gepinnte SHA-256-Hashes. Auch die Lücken werden benannt: Der Windows-Installer ist nicht codesigniert, Keys für externe Modelldienste liegen unverschlüsselt in einer Datei, die nur der Benutzer lesen kann, und der nackte Engine-Server warnt nur, wenn du ihn ohne Key fürs Netzwerk öffnest.
Das eigentliche Risiko ist die Gestalt des Projekts. Ein Entwickler hat fast alles in rund fünf Wochen geschrieben, es gibt 507 offene Issues, und Releases kommen alle paar Tage mit langen Listen von Schaltern pro GPU. llama.cpp unterstützt weit mehr Modelle und Hardware und hat eine tiefe Bank an Maintainern; Colibri, in reinem C, streamt ebenfalls Mixture-of-Experts-Gewichte von der Festplatte. Strata punktet mit Tiefe bei einer Handvoll Modelle, was auch heißt, dass es nur so nützlich ist, wie es Qwen3.8-Flash-Next und DeepSeek V4.1-Flash für dich sind.
Wo es sich lohnt
Ein Entwickler mit einer RTX 3060 oder 5070 und 64 GB RAM
Ein großes Coding-Modell lokal für Claude Code oder OpenCode betreiben
Installiere die App oder führe `strata launch` aus, wähle Q2_0 oder IQ2_XS, danach gibt `strata connect` die Einstellungen für den Agenten aus. Das Projekt misst 79 bis 93 Tokens pro Sekunde auf einer RTX 5070 bei kurzem Kontext; die Kosten sind die Hardware und rund 40 GB an Modelldateien.
Eine Beratung mit zehn Leuten, deren Kundencode das Büro nicht verlassen darf
Den Mitarbeitenden einen gemeinsamen privaten Assistenten auf einer Workstation geben
Betreib Strata auf einem PC mit einer Karte mit 24 GB und schalte Share with other devices ein, das ohne API-Key nicht startet und nur die Chat-Endpunkte freigibt. Parallele Chats teilen sich den Durchsatz einer GPU; die Tests des Projekts auf dem DGX Spark ergaben, dass sich mehrere Chats im Wesentlichen die Geschwindigkeit eines einzelnen Chats aufteilen.
Ein Hobbyist mit einem DGX Spark oder einem Ryzen-AI-Max-Rechner mit 128 GB
DeepSeek V4.1-Flash ohne Server-Rack ausprobieren
Wähle den Satz mit 2,00 bpw, ein Download von 257 GB, und lass rund 265 GB auf einem NVMe-Laufwerk frei. Das Projekt meldet 19 bis 21 Tokens pro Sekunde bei Code auf Strix Halo; auf NVIDIA-Karten mit 12 GB sind es 4 bis 11, weil der Großteil jedes Tokens auf die SSD wartet.
Bevor du dich festlegst
- Einrichtung
- Desktop-Installer für Windows, Linux und macOS aus den GitHub Releases oder ein einzeiliges Shell- oder PowerShell-Skript, gefolgt von `strata launch`. Der Modell-Download (rund 37 bis 55 GB für Qwen3.8-Flash-Next) macht den Großteil der Zeit bis zur ersten Antwort aus.
- Integrationen
- OpenAI- und Anthropic-kompatible APIs auf localhost; `strata connect` gibt die Einrichtung für Claude Code, Codex CLI, OpenCode, Hermes Agent, OpenClaw und andere aus. Builds für CUDA, HIP, SYCL und Metal sowie Installation über Docker und aus dem Quellcode.
- Daten und Datenschutz
- Keine Telemetrie laut der Sicherheitsseite, die jede Verbindung auflistet, die der Code aufbaut. Der Server bindet an 127.0.0.1; Teilen braucht einen API-Key. Updates sind Ed25519-signiert, und Modelldateien werden gegen gepinnte SHA-256-Hashes geprüft; Keys für externe Dienste werden unverschlüsselt gespeichert. Strata steht unter MIT, Qwen3.8-Flash-Next unter der Qwen Community License 1.0.
- Kosten im großen Maßstab
- Keine kostenpflichtige Edition; das Projekt nimmt Spenden an. Die Kosten sind ein PC mit einer Grafikkarte ab 12 GB und rund 64 GB RAM für Qwen3.8-Flash-Next, plus rund 265 GB freier NVMe-Speicher für DeepSeek V4.1-Flash.
- Grenzen
- 507 offene Issues und Releases alle paar Tage. Nur wenige Modellfamilien; DeepSeek läuft mit 8K Kontext; das Dekodieren bei langem Kontext auf älteren GPUs hat offene Regressionen (Issue #2464); die Geschwindigkeiten schwanken zwischen Läufen, weil sich die gecachten Experten ändern.
Was gut ist
- Betreibt Qwen3.8-Flash-Next auf einer GPU mit 12 GB und 64 GB RAM
- Detaillierte, reproduzierbare Geschwindigkeitsberichte vom Autor und aus der Community
- Keine Telemetrie, standardmäßig localhost, signierte Updates und gepinnte Modell-Hashes
- OpenAI- und Anthropic-kompatible APIs für Claude Code, Codex und OpenCode
Was nicht
- Braucht trotz des Versprechens beliebiger Hardware rund 40 bis 55 GB RAM plus VRAM
- Fast vollständig ein einzelner Entwickler; 507 offene Issues
- Unterstützt nur wenige Modellfamilien
- Der Windows-Installer ist nicht codesigniert
Am besten für
Besitzer einer Grafikkarte mit 12 bis 24 GB und 64 GB oder mehr RAM, die ein großes offenes Modell für Coding-Agenten auf dem eigenen Rechner wollen.
Alternativen zu Strata
Strata: häufige Fragen
- Lohnt sich Strata?
- Ein wirklich cleverer Weg, ein Modell mit 125B Parametern auf einer Grafikkarte mit 12 GB zu betreiben, solange du 64 GB RAM hast und mit einem Ein-Personen-Projekt leben kannst, das sich jede Woche ändert. Wir bewerten es mit 4.0 von 5.
- Was kostet Strata?
- Kostenlos und Open Source unter der MIT-Lizenz; finanziert durch Spenden. Modelldateien haben eigene Lizenzen (Qwen3.8-Flash-Next nutzt die Qwen Community License 1.0).
- Welche Nachteile hat Strata?
- Braucht trotz des Versprechens beliebiger Hardware rund 40 bis 55 GB RAM plus VRAM; Fast vollständig ein einzelner Entwickler; 507 offene Issues; Unterstützt nur wenige Modellfamilien; Der Windows-Installer ist nicht codesigniert.
- Für wen eignet sich Strata?
- Besitzer einer Grafikkarte mit 12 bis 24 GB und 64 GB oder mehr RAM, die ein großes offenes Modell für Coding-Agenten auf dem eigenen Rechner wollen.
- Was kostet Strata für ein Team oder im Produktivbetrieb?
- Keine kostenpflichtige Edition; das Projekt nimmt Spenden an. Die Kosten sind ein PC mit einer Grafikkarte ab 12 GB und rund 64 GB RAM für Qwen3.8-Flash-Next, plus rund 265 GB freier NVMe-Speicher für DeepSeek V4.1-Flash.
- Ist Strata sicher für Firmendaten?
- Keine Telemetrie laut der Sicherheitsseite, die jede Verbindung auflistet, die der Code aufbaut. Der Server bindet an 127.0.0.1; Teilen braucht einen API-Key. Updates sind Ed25519-signiert, und Modelldateien werden gegen gepinnte SHA-256-Hashes geprüft; Keys für externe Dienste werden unverschlüsselt gespeichert. Strata steht unter MIT, Qwen3.8-Flash-Next unter der Qwen Community License 1.0.
- Was sind die besten Alternativen zu Strata?
- Die nächsten Alternativen, die wir getestet haben, sind llama.cpp, colibri und Ollama.
Antworten geprüft am 28. Okt. 2026.