Riesige KI-Modelle auf einem normalen PC: Colibri, Strata, AirLLM und FreeToken im Vergleich

Du kannst inzwischen ein Modell mit Hunderten Milliarden Parametern auf einem Desktop-PC ausführen. Ob du es solltest, hängt von einer Frage ab: Welche Teile des Modells müssen zwischen deiner SSD, deinem RAM und deiner Grafikkarte hin- und herwandern, und wie oft? Vier Open-Source-Engines beantworten sie unterschiedlich, und die Antwort entscheidet, ob du eine Antwort in Sekunden bekommst oder ein Wort pro Viertelminute.

Warum das überhaupt funktioniert

Die meisten großen offenen Modelle sind heute Mixture-of-Experts-Modelle (MoE). Jedes besteht aus einer Menge kleiner spezialisierter Netze, und für jedes einzelne Wort arbeiten nur wenige davon. Ein Modell mit 744 Milliarden Parametern nutzt pro Token vielleicht ein paar Prozent seiner Gewichte. Wenn du die gefragten Experten nah am Prozessor halten und den Rest bei Bedarf holen kannst, brauchst du nicht den Speicher eines Rechenzentrums.

Stell dir deinen Grafikspeicher als deinen Schreibtisch vor, den RAM als das Regal hinter dir und die SSD als die Bibliothek am Ende des Flurs. Jeder Experte, der nicht auf dem Schreibtisch liegt, wenn er gebraucht wird, kostet einen Gang, und die Engines unten sind verschiedene Strategien für weniger und kürzere Gänge.

Colibri: jedes Modell, wenn du warten kannst

Colibri (4.2) ist eine Engine in reinem C, die die Festplatte als Teil des Speichers behandelt. Sie hält die meistgenutzten Gewichte im RAM und streamt die übrigen Experten von einem NVMe-Laufwerk. So starten riesige Modelle auf bescheidenen Rechnern, zu einem Preis, den das README offen nennt: GLM-5.2, ein 744B-Modell, dekodiert kalt mit 0,05 bis 0,1 Tokens pro Sekunde auf dem Laptop mit 25 GB, auf dem das Projekt begann, also etwa ein Wort alle 10 bis 20 Sekunden. Auf einem Ryzen AI Max+ 395 mit 128 GB erreicht es 1,83. Angenehm wird es bei kleineren MoE-Modellen: Qwen3.6-35B-A3B läuft mit 6,0 Tokens pro Sekunde auf der CPU und 30,0 mit CUDA.

Der Haken: "Kalt" heißt, dass noch nichts im Cache liegt, und erste Läufe mit einem großen Modell sind so langsam, dass sie sich kaputt anfühlen. Große Modelle bedeuten außerdem Downloads von Hunderten Gigabyte. Colibri parst sehr große Modelldateien in C und hat im August acht Sicherheitshinweise veröffentlicht. Nimm Modelldateien also nur aus Quellen, denen du vertraust.

Strata: eine Modellfamilie, schnell auf einem Gaming-PC

Strata (4.0) macht das Gegenteil: Statt alles langsam auszuführen, führt es Qwen3.8-Flash-Next und DeepSeek V4.1-Flash schnell aus. Es hält die meistgenutzten Experten fest auf der GPU, berechnet den Rest auf der CPU aus dem RAM, statt ihn hin- und herzuschieben, legt eine große Lookup-Tabelle auf der SSD ab und nutzt Speculative Decoding, bei dem ein kleiner Helfer Wörter entwirft und das Hauptmodell sie prüft. Die eigenen Messungen des Projekts auf einer RTX 5070 mit 12 GB und einem Ryzen 5 7600 zeigen 93 Tokens pro Sekunde bei 4K Kontext mit dem Q2_0-Paket und 53 mit dem hochwertigeren IQ3_S, und Berichte aus der Community zu AMD-Karten liegen im selben Bereich.

Der Haken: Diese Pakete brauchen 37,6 bis 54,8 GB RAM und VRAM zusammen, realistisch sind also 64 GB RAM das Minimum. Geschwindigkeiten bei 4K Kontext beschönigen außerdem lange Coding-Sitzungen, und das Projekt ist weitgehend die Arbeit eines einzelnen Entwicklers, mit Releases alle paar Tage.

AirLLM: am wenigsten GPU-Speicher, am meisten Geduld

AirLLM hält immer nur eine Schicht des Modells auf der GPU und lädt jede von der Festplatte, wenn sie gebraucht wird. So kann sein README ein 70B-Modell auf einer Karte mit 4 GB und Llama 3.1 405B auf 8 GB aufführen, und seine v3-Reihe ergänzt Streaming pro Experte für Kimi K3, das laut Projekt in 3,72 GB VRAM lief. Es ist eine Python-Bibliothek, ein erstes Experiment sind also ein paar Zeilen mit AutoModel.

Der Haken: Die Schlagzeile ist eine Speicherangabe, keine Geschwindigkeitsangabe. AirLLM zerlegt den Checkpoint zuerst in Dateien pro Schicht, was das README "very disk-consuming" nennt (etwa 360 GB für Qwen3.8-Flash-Next), und nennt das Laden von der Festplatte als größten Engpass. Es veröffentlicht keine Werte in Tokens pro Sekunde. Optionale Kompression auf 4 oder 8 Bit macht es bis zu dreimal schneller.

FreeToken: gebaut für Agenten, die immer wieder zurückkommen

FreeToken, von einem universitären Forschungsteam (Paper), hält alle Gewichte im RAM und macht freien GPU-Speicher zu einem gemeinsamen Cache kürzlich genutzter Experten. Fehlt ein Experte, entscheidet es im Einzelfall anhand der gemessenen Bandbreite, ob das Kopieren über PCIe oder die Berechnung auf der CPU schneller ist. Es kann außerdem ohne Neustart ändern, wie der GPU-Speicher zwischen Experten-Cache und Gesprächsspeicher aufgeteilt wird.

Seine Besonderheit ist für Coding-Agenten gedacht. Ein Agent bearbeitet Tool-Argumente und fügt mitten im Gespräch Befehlsausgaben ein, was eine Engine normalerweise zwingt, den ganzen Prompt neu zu berechnen. FreeToken speichert den internen Zustand des Modells an logischen Aufgabengrenzen und verwendet ihn wieder, sodass der zehnte Schritt einer Sitzung nicht so viel kosten sollte wie der erste. Die Anleitung von Better Stack behandelt Einrichtung und Geschwindigkeiten im Vergleich zu Ollama. Es steht unter Apache-2.0, unterstützt NVIDIA-Karten der Reihen RTX 30, 40 und 50 unter Windows und Linux und funktioniert mit Claude Code, Codex und OpenCode über OpenAI- und Anthropic-kompatible APIs.

Der Haken: Vorerst nur NVIDIA; AMD-Unterstützung gibt es nur in einem Community-Fork. Die Projektseite veröffentlicht keine eigenen Benchmark-Werte, und mit 281 offenen Issues entwickelt es sich schnell.

Was du zuerst ausprobieren solltest

Wähle das Modell vor der Engine. Eine schnelle Laufzeitumgebung rettet kein Modell, das an deiner Aufgabe scheitert oder eine Lizenz hat, die du nicht nutzen kannst.

Für einen schnellen, reaktionsfreudigen Assistenten auf einem Gaming-PC mit 64 GB RAM ist Strata der kürzeste Weg, vorausgesetzt, Qwen3.8-Flash-Next oder DeepSeek V4.1-Flash ist das Modell, das du willst. Für lange Agentensitzungen auf einer NVIDIA-Karte ist FreeToken genau um diese Arbeitslast herum entworfen; miss die Zeit für eine ganze Aufgabe, nicht für eine Antwort. Um ein Modell auszuprobieren, das viel zu groß für deinen Rechner ist, führt Colibri es aus, langsam, und sagt dir ehrlich, wie langsam. Für ein Python-Experiment auf einer kleinen GPU, bei dem Warten in Ordnung ist, lässt sich AirLLM am einfachsten skripten.

Wenn dich nichts davon überzeugt, bleiben llama.cpp und Ollama die verlässliche Wahl für Modelle, die in deinen Speicher passen.

Unser Fazit: Die richtige Engine ist die, deren Gänge zur Bibliothek zu deiner Geduld passen. Miss den zweiten und zehnten Schritt einer echten Sitzung, nicht die erste Antwort auf "hello".