Was ist Locals?
Locals ist ein Modellserver für Macs mit Apple silicon, aufgebaut auf Apples MLX und eher für Coding-Agenten als für Chats gedacht. Er beantwortet die APIs von OpenAI, Anthropic Messages und Ollama unter 127.0.0.1:8321, sodass OpenCode, Claude Code, Cline, Aider, OpenHands und für Ollama geschriebene Apps ihn ohne Änderungen nutzen können. Sein wichtigster Kniff ist Batching: Anfragen mehrerer Agenten werden zusammen berechnet, mit GPU-Kernels für kleine Batches, genau dort, wo mlx-lm nicht mehr schneller wird.
Tool-Aufrufe und JSON entstehen unter einer Grammatik, die auf der GPU angewendet wird, sodass ein Agent nur Werkzeuge aufrufen kann, die er angeboten hat, und Argumente zu ihrem Schema passen. Gespräche und lange System-Prompts werden zwischengespeichert, auch auf der Festplatte über Neustarts hinweg. Befehle wie locals code ~/my-project und locals launch claude starten den Server und verbinden einen Client in einem Schritt, und locals run verteilt eine Aufgabe auf mehrere Agenten, die in getrennten Kopien eines Projekts arbeiten.
Entwickelt wird es von Generated Computers, geschrieben in Python, veröffentlicht unter Apache 2.0 und installiert mit uv tool install locals oder einem Shell-Skript. Es braucht einen M1 oder neuer und macOS 14. Version 0.2.2 erschien am 4. November 2026.
Lohnt sich Locals?
Locals zielt auf einen Fall, den Modellserver für den Mac schlecht beherrschen: mehrere Agenten, die gleichzeitig fragen. Auf einem M2 Pro mit 16 GB und dem Standardmodell Qwen3.5-4B misst das Projekt mlx-lm bei acht gleichzeitigen Anfragen mit 87 Tokens pro Sekunde und Locals mit 271, ein Gewinn um das 3,1x; LFM2.5-2.6B und Gemma 4 E4B legen um das 2,8x zu. Bei acht Agenten kommt das erste Wort nach 1,6 Sekunden statt nach 41,8 mit Ollama, und im selben Test schlug Locals auch die 2,1 Sekunden von llama.cpp.
Die Benchmarks nennen Chip, Modell, Versionen und Befehl, und die README hat einen Abschnitt darüber, wo Locals nicht schneller ist. Eine einzelne Anfrage ohne Wiederverwendbares läuft mit dem Tempo von mlx-lm, 64 gegenüber 61 Tokens pro Sekunde. Lange Prompts sind durch die Rechenleistung der GPU begrenzt, acht Prompts mit 8.000 Tokens gleichzeitig ergeben 57 Tokens pro Sekunde. Andere Formate als das übliche 4-Bit in Gruppen zu 64 gewinnen nichts, und auf dem M5 Pro schrumpft der Gewinn auf etwa das 1,5x, weil MLX dessen neuronale Beschleuniger bereits nutzt. M1-, M3- und M4-Chips fehlen in den Haupttabellen.
Die Agentenfunktionen zählen so viel wie das Tempo. Per Grammatik eingeschränkte Tool-Aufrufe beseitigen einen typischen Fehler kleiner lokaler Modelle: fehlerhafte Aufrufe, an denen ein Agent hängen bleibt. Dank zwischengespeicherter Prompts beginnt die nächste Runde eines Gesprächs mit 138.000 Tokens nach 2,4 Sekunden. Das Standardmodell verarbeitet auf einem Mac mit 16 GB rund 178.000 Tokens, auch wenn das erste Einlesen von 170.000 Tokens etwa 12 Minuten dauert.
Zur Sicherheit: Der Server hat keine Authentifizierung und verlässt sich darauf, an 127.0.0.1 zu binden, dazu auf Host- und Origin-Prüfungen, damit keine Webseite in deinem Browser ihn nutzen kann. Laut Dokumentation entfällt die Host-Prüfung, wenn du an eine andere Adresse bindest. locals code führt OpenCode direkt in deinem Projekt aus, mit den üblichen Rechten von OpenCode, und macht Locals zum Standardmodell von OpenCode, bis du locals disconnect opencode ausführst. Teamläufe mit locals run bleiben auf Kopien des Projekts beschränkt.
Gegenüber Ollama oder LM Studio verzichtet Locals auf GGUF-Dateien sowie auf Windows und Linux und gewinnt dafür Tempo unter paralleler Last auf dem Mac. Für eine Person, die mit einem Modell chattet, ist der Unterschied klein. Für einen Entwickler, der Sub-Agenten oder ein kleines Agententeam auf einem MacBook mit 16 GB betreibt, ist der Gewinn größer, und das Projekt ist jung: drei Releases seit dem 21. Oktober 2026 und 649 Sterne.
Wo es sich lohnt
Ein freiberuflicher Entwickler mit einem MacBook Pro mit 16 GB
OpenCode an einem Kundenprojekt nutzen, ohne Code an eine API zu schicken
uv tool install locals, dann locals code ~/project; beim ersten Start lädt es ein Modell von etwa 3 GB. Die Sub-Agenten von OpenCode teilen sich den Batch, und genau dort greift der Gewinn um das 3,1x; eine Abrechnung pro Token gibt es nicht.
Ein kleines Team, das Open WebUI und Raycast schon mit Ollama nutzt
Gemeinsam genutzte lokale Modelle beschleunigen, ohne jede App umzustellen
Beende Ollama und starte locals launch --model qwen3.5:4b ollama, damit Locals auf dem Port von Ollama mit dessen Modellnamen antwortet. Die Modelle werden im MLX-Format erneut geladen; zurück geht es mit locals stop und einem Neustart von Ollama.
Eine Entwicklerin im Backoffice, die unordentlichen Text in Datensätze verwandelt
Strukturierte Felder extrahieren, die immer einem JSON-Schema entsprechen
locals generate --schema person.json liefert JSON, das dem Schema Feld für Feld folgt, und dasselbe funktioniert über die OpenAI-API mit response_format. Verarbeite viele Dokumente gleichzeitig, um den Durchsatzgewinn zu nutzen.
Bevor du dich festlegst
- Einrichtung
- Installationsskript per curl oder uv tool install --python 3.12 locals, danach locals code ~/my-project. Braucht einen M1 oder neuer, macOS 14 und idealerweise 16 GB; auf anderen Chips als M2 Pro und M2 Max stimmt es sich in 10 bis 20 Minuten Leerlauf selbst ab.
- Integrationen
- OpenAI-kompatibles /v1 unter 127.0.0.1:8321, Anthropic Messages für Claude Code und die Ollama-API; Launcher für OpenCode, Claude Code, Cline, Kilo Code, OpenHands, Aider, Hermes Agent und OpenClaw; Einstellungen für Roo Code, Continue, Zed und JetBrains.
- Daten und Datenschutz
- Läuft lokal; Modelle kommen von Hugging Face. Keine Authentifizierung: bindet standardmäßig an 127.0.0.1, lehnt Anfragen ab, deren Host oder Origin nicht lokal ist, und schaltet die Host-Prüfung ab, wenn es an eine andere Adresse gebunden wird. Hält Gespräche und System-Prompts in einem Cache, auch auf der Festplatte.
- Kosten im großen Maßstab
- Die Software ist kostenlos; die Kosten sind der Mac. Auf einem M2 Max mit 96 GB erreichen acht Anfragen an ein 27B-Modell 78 Tokens pro Sekunde gegenüber 25 mit mlx-lm; Flint von Recursive (40B, 2,5B aktiv) braucht 24 GB oder mehr.
- Grenzen
- Ein Modell zur Zeit; nur MLX-Modelle; kein Windows oder Linux. Die Gewinne kommen aus Parallelität und Caching: Einzelne Anfragen ohne Cache und lange Prompts laufen etwa mit dem Tempo von mlx-lm.
Was gut ist
- 3,1x der Durchsatz von mlx-lm bei acht gleichzeitigen Anfragen auf einem M2 Pro
- Tool-Aufrufe und JSON auf das Schema beschränkt, daher immer parsebar
- APIs von OpenAI, Anthropic und Ollama; ein Befehl pro Agenten-Tool
- Veröffentlichte Benchmarks samt Liste, wo es nicht schneller ist
Was nicht
- Nur Apple silicon und macOS 14; MLX-Modelle, kein GGUF
- Wenig Gewinn bei einzelnen Anfragen oder langen Prompts
- Keine Authentifizierung; die Sicherheit hängt davon ab, auf Loopback zu bleiben
- Nur M2 Pro, M2 Max und M5 Pro gründlich gemessen; einen Monat alt
Am besten für
Mac-Entwickler, die mehrere Coding-Agenten oder Sub-Agenten gegen ein lokales Modell laufen lassen und wollen, dass diese schneller fertig werden.
Alternativen zu Locals
Locals: häufige Fragen
- Lohnt sich Locals?
- Der Modellserver für den Mac, wenn sich mehrere Agenten ein kleines Modell teilen, mit gemessenen Gewinnen und einer ungewöhnlich offenen Liste, wo er nicht schneller ist. Wir bewerten es mit 3.9 von 5.
- Was kostet Locals?
- Kostenlos und Open Source (Apache 2.0). Jedes Modell behält seine eigene Lizenz.
- Welche Nachteile hat Locals?
- Nur Apple silicon und macOS 14; MLX-Modelle, kein GGUF; Wenig Gewinn bei einzelnen Anfragen oder langen Prompts; Keine Authentifizierung; die Sicherheit hängt davon ab, auf Loopback zu bleiben; Nur M2 Pro, M2 Max und M5 Pro gründlich gemessen; einen Monat alt.
- Für wen eignet sich Locals?
- Mac-Entwickler, die mehrere Coding-Agenten oder Sub-Agenten gegen ein lokales Modell laufen lassen und wollen, dass diese schneller fertig werden.
- Was kostet Locals für ein Team oder im Produktivbetrieb?
- Die Software ist kostenlos; die Kosten sind der Mac. Auf einem M2 Max mit 96 GB erreichen acht Anfragen an ein 27B-Modell 78 Tokens pro Sekunde gegenüber 25 mit mlx-lm; Flint von Recursive (40B, 2,5B aktiv) braucht 24 GB oder mehr.
- Ist Locals sicher für Firmendaten?
- Läuft lokal; Modelle kommen von Hugging Face. Keine Authentifizierung: bindet standardmäßig an 127.0.0.1, lehnt Anfragen ab, deren Host oder Origin nicht lokal ist, und schaltet die Host-Prüfung ab, wenn es an eine andere Adresse gebunden wird. Hält Gespräche und System-Prompts in einem Cache, auch auf der Festplatte.
- Was sind die besten Alternativen zu Locals?
- Die nächsten Alternativen, die wir getestet haben, sind Ollama, MLX und llama.cpp.
Antworten geprüft am 13. Nov. 2026.