Was ist Foundry Local?
Foundry Local ist Microsofts Runtime, um Sprach- und Sprechmodelle auf dem Gerät des Nutzers auszuführen. Es ist ein etwa 20 MB großes Paket mit nativen SDKs für C, C++, C#, JavaScript, Python und Rust, aufgebaut auf ONNX Runtime, das Modelle beim ersten Aufruf aus einem kuratierten Katalog herunterlädt, zwischenspeichert und den besten Execution Provider für die Hardware wählt: NPU, GPU oder CPU.
Der Katalog umfasst Chatmodelle wie GPT OSS, Qwen, DeepSeek, Mistral und Phi sowie Whisper für Transkription, jeweils für Consumer-Hardware quantisiert und versioniert, damit eine App eine Version festschreiben kann. Es versteht OpenAI-Anfrageformate einschließlich der Responses API und bietet einen optionalen OpenAI-kompatiblen lokalen Webserver und eine CLI als Preview. Es läuft unter Windows, macOS auf Apple Silicon und Linux, ohne Azure-Abo und ohne API-Schlüssel.
Das Repository ist aktiv: v2.3.1 erschien am 3. November 2026, nach v2.3.0 und der CLI-Preview 0.13.0 am 2. November. Die SDKs stehen unter MIT; die CLI unterliegt eigenen Lizenzbedingungen von Microsoft.
Lohnt sich Foundry Local?
Foundry Local löst ein anderes Problem als Ollama oder llama.cpp. Diese führen Modelle für die Person an der Tastatur aus; Foundry Local ist dafür gebaut, in eine Anwendung eingebettet zu werden, die du verteilst, läuft also über ein SDK in deinem Prozess und vergrößert das Paket um etwa 20 MB. Modelle werden beim ersten Aufruf geladen, die Runtime wählt NPU, GPU oder CPU, und die App funktioniert offline ohne Rechnung pro Token.
Dieser Fokus prägt die Kompromisse. Der Katalog ist bewusst kuratiert: Microsoft quantisiert und testet jedes Modell auf Consumer-Hardware, du hast also weniger Auswahl als in Ollamas Bibliothek, aber berechenbareres Verhalten auf unbekannten Rechnern. Seit v2.1.0 im September kannst du auch eigene Modelle für ONNX Runtime GenAI registrieren. Sechs Sprach-SDKs und ein OpenAI-kompatibles Anfrageformat halten den Portierungsaufwand gering.
Das Projekt liefert schnell. Version 2.2.1 vom 23. Oktober brachte Tool Calling für Coding-Workflows, und 2.3.0 vom 2. November verbesserte die Unterstützung für Coding-Modelle und reparierte die Transkription mit Parakeet und Whisper. Das Repository hat etwa 2.600 Sterne, wenig neben den 184.000 von Ollama, was weniger Antworten aus der Community bedeutet, wenn etwas kaputtgeht.
Drei Voreinstellungen verdienen vor dem Ausliefern einen Blick. Die Telemetrie ist standardmäßig an; Microsoft sagt, Prompts, Ausgaben, Audio und rohe Gerätekennungen würden nicht erfasst, und nicht notwendige Telemetrie lässt sich in der Konfiguration oder mit ORT_DISABLE_TELEMETRY=1 abschalten. CUDA- und cuDNN-Runtimes werden nicht mehr mitgeliefert und müssen separat installiert werden. Der optionale lokale Webserver stellt einen Endpunkt im OpenAI-Stil bereit, den andere Prozesse auf dem Rechner aufrufen können; lass ihn in Produktions-Builds aus, wenn du ihn nicht brauchst.
Es ist kein Server-Stack. Laut README bedient es einen Nutzer zur Zeit, ohne Warteschlange für Anfragen und ohne Continuous Batching, und verweist Mehrnutzerlasten an vLLM oder Triton. Für eine Desktop- oder Edge-App, die Daten auf dem Gerät halten muss, ist es die sauberste Option, die Microsoft anbietet.
Wo es sich lohnt
Ein Anbieter von Gesundheitssoftware mit einer Windows-Desktop-App
Klinische Notizen zusammenfassen, ohne Text in die Cloud zu schicken
Bette das C#-SDK und ein Phi- oder Qwen-Modell aus dem Katalog ein; der Text bleibt auf dem PC der Ärztin, es fallen keine Kosten pro Token an, und die App schreibt eine Modellversion fest, damit sich Ausgaben nicht mit einem Update ändern.
Ein Servicetechnik-Unternehmen, dessen Techniker offline arbeiten
Sprachnotizen auf Laptops ohne Netz transkribieren
Nutze die native Whisper-Transkription des SDK in Python oder JavaScript; Modelle bleiben nach dem ersten Download im Cache, sodass die Transkription ohne Verbindung funktioniert.
Ein Entwickler mit einer App, die bereits auf dem OpenAI-SDK aufbaut
Einen lokalen Modus anbieten, ohne den Client neu zu schreiben
Richte den vorhandenen OpenAI-Client auf den optionalen lokalen Server von Foundry Local, der OpenAI-Anfrageformate annimmt; für die Verteilung wechselst du zum SDK im Prozess, um keinen Server zu betreiben.
Bevor du dich festlegst
- Einrichtung
- Installiere das SDK (zum Beispiel pip install foundry-local-sdk oder npm install foundry-local-sdk), fordere ein Modell aus dem Katalog an, und es wird in wenigen Codezeilen heruntergeladen, zwischengespeichert und geladen; winget installiert die CLI unter Windows.
- Integrationen
- SDKs für C, C++, C#, JavaScript, Python und Rust; OpenAI-kompatible Formate einschließlich der Responses API; ein optionaler lokaler Webserver für LangChain und andere Werkzeuge.
- Daten und Datenschutz
- Die Inferenz läuft auf dem Gerät; die Telemetrie ist standardmäßig an und schließt laut Datenschutzhinweisen Prompts, Ausgaben, Audio und rohe Gerätekennungen aus; nicht notwendige Telemetrie lässt sich abschalten.
- Kosten im großen Maßstab
- Keine Lizenz- oder Token-Gebühren; die Kosten sind die Hardware des Nutzers und die Downloadgröße jedes Modells.
- Grenzen
- Für einen Nutzer zur Zeit gebaut, ohne Warteschlange und Continuous Batching; nur Modelle aus dem Katalog oder registrierte ONNX-Modelle; CUDA und cuDNN müssen separat installiert werden.
Was gut ist
- Etwa 20 MB große Runtime, die in deine App eingebettet wird, mit SDKs in sechs Sprachen
- Automatische Wahl von NPU, GPU oder CPU über ONNX Runtime
- Kuratierter, versionierter Modellkatalog, auf Consumer-Hardware getestet
- OpenAI-kompatible Anfragen, einschließlich des Formats der Responses API
- Häufige Releases; v2.3.1 am 3. November 2026
Was nicht
- Telemetrie standardmäßig an
- Kleinerer Katalog als Ollama oder llama.cpp
- Ein-Nutzer-Design ohne Batching
- CUDA und cuDNN müssen separat installiert werden
- CLI noch als Preview und nicht unter MIT
Am besten für
Entwickler, die Desktop- oder Edge-Apps ausliefern, die ein lokales Modell auf den Rechnern der Nutzer brauchen, ohne API-Schlüssel oder Cloud-Rechnung.
Alternativen zu Foundry Local
Foundry Local: häufige Fragen
- Lohnt sich Foundry Local?
- Foundry Local ist ein sauberer Weg, ein kleines Modell in eine Desktop-App einzubauen, aber der kuratierte Katalog, die standardmäßig aktive Telemetrie und das Ein-Nutzer-Design machen es auf einer Workstation zu einem schwachen Ersatz für Ollama. Wir bewerten es mit 3.9 von 5.
- Was kostet Foundry Local?
- Kostenlos. SDKs unter MIT; die CLI unter Microsofts eigenen Lizenzbedingungen; jedes Modell behält seine eigene Lizenz. Kein Azure-Abo und keine Kosten pro Token.
- Welche Nachteile hat Foundry Local?
- Telemetrie standardmäßig an; Kleinerer Katalog als Ollama oder llama.cpp; Ein-Nutzer-Design ohne Batching; CUDA und cuDNN müssen separat installiert werden; CLI noch als Preview und nicht unter MIT.
- Für wen eignet sich Foundry Local?
- Entwickler, die Desktop- oder Edge-Apps ausliefern, die ein lokales Modell auf den Rechnern der Nutzer brauchen, ohne API-Schlüssel oder Cloud-Rechnung.
- Was kostet Foundry Local für ein Team oder im Produktivbetrieb?
- Keine Lizenz- oder Token-Gebühren; die Kosten sind die Hardware des Nutzers und die Downloadgröße jedes Modells.
- Ist Foundry Local sicher für Firmendaten?
- Die Inferenz läuft auf dem Gerät; die Telemetrie ist standardmäßig an und schließt laut Datenschutzhinweisen Prompts, Ausgaben, Audio und rohe Gerätekennungen aus; nicht notwendige Telemetrie lässt sich abschalten.
- Was sind die besten Alternativen zu Foundry Local?
- Die nächsten Alternativen, die wir getestet haben, sind Ollama, llama.cpp, llamafile und MLX.
Antworten geprüft am 6. Nov. 2026.