Qu’est-ce que Foundry Local ?
Foundry Local est le runtime de Microsoft pour exécuter des modèles de langage et de parole sur l'appareil de l'utilisateur. C'est un paquet d'environ 20 Mo, avec des SDK natifs pour C, C++, C#, JavaScript, Python et Rust, bâti sur ONNX Runtime, qui télécharge les modèles depuis un catalogue sélectionné à la première utilisation, les met en cache et choisit le meilleur fournisseur d'exécution pour le matériel : NPU, GPU ou CPU.
Le catalogue comprend des modèles de chat comme GPT OSS, Qwen, DeepSeek, Mistral et Phi, ainsi que Whisper pour la transcription, chacun quantifié pour le matériel grand public et versionné pour qu'une application puisse figer une version. Il parle les formats de requête d'OpenAI, y compris la Responses API, et propose un serveur web local optionnel compatible OpenAI et une CLI en preview. Il fonctionne sous Windows, macOS sur Apple silicon et Linux, sans abonnement Azure ni clé d'API.
Le dépôt est actif : la v2.3.1 est sortie le 3 novembre 2026, après la v2.3.0 et la preview 0.13.0 de la CLI le 2 novembre. Les SDK sont sous licence MIT ; la CLI relève de conditions de licence Microsoft distinctes.
Foundry Local vaut-il le coup ?
Foundry Local règle un autre problème qu'Ollama ou llama.cpp. Ceux-ci font tourner des modèles pour la personne devant le clavier ; Foundry Local est conçu pour être intégré à une application que vous distribuez, il tourne donc dans votre processus via un SDK et ajoute environ 20 Mo au paquet. Les modèles se téléchargent à la première utilisation, le runtime choisit NPU, GPU ou CPU, et l'application fonctionne hors ligne, sans facture au token.
Ce choix dicte les compromis. Le catalogue est volontairement restreint : Microsoft quantifie et teste chaque modèle sur du matériel grand public, vous avez donc moins de choix que dans la bibliothèque d'Ollama mais un comportement plus prévisible sur des machines inconnues. Depuis la v2.1.0, en septembre, vous pouvez aussi enregistrer vos propres modèles ONNX Runtime GenAI. Six SDK de langage et un format de requête compatible OpenAI limitent le coût du portage.
Le projet avance vite. La version 2.2.1 du 23 octobre a ajouté l'appel d'outils pour les flux de développement, et la 2.3.0 du 2 novembre a amélioré la prise en charge des modèles de code et corrigé la transcription avec Parakeet et Whisper. Le dépôt compte environ 2 600 étoiles, peu face aux 184 000 d'Ollama, ce qui veut dire moins de réponses de la communauté quand quelque chose casse.
Trois réglages par défaut méritent un examen avant livraison. La télémétrie est activée par défaut ; Microsoft affirme ne collecter ni prompts, ni sorties, ni audio, ni identifiants bruts d'appareil, et la télémétrie non essentielle se coupe dans la configuration ou avec ORT_DISABLE_TELEMETRY=1. Les runtimes CUDA et cuDNN ne sont plus fournis et doivent être installés à part. Le serveur web local optionnel expose un point d'accès de style OpenAI que d'autres processus de la machine peuvent appeler ; laissez-le désactivé dans les versions de production si vous n'en avez pas besoin.
Ce n'est pas une pile serveur. Le README indique qu'il sert un utilisateur à la fois, sans file d'attente de requêtes ni batching continu, et renvoie les charges multi-utilisateurs vers vLLM ou Triton. Pour une application de bureau ou en périphérie qui doit garder les données sur l'appareil, c'est l'option la plus propre que propose Microsoft.
Là où il fait la différence
Un éditeur de logiciels de santé avec une application de bureau Windows
Résumer des notes cliniques sans envoyer de texte dans le cloud
Intégrez le SDK C# et un modèle Phi ou Qwen du catalogue ; le texte reste sur le PC du soignant, il n'y a pas de coût au token, et l'application fige une version du modèle pour que les sorties ne changent pas lors d'une mise à jour.
Une société de maintenance dont les techniciens travaillent hors ligne
Transcrire des notes vocales sur des portables sans réseau
Utilisez la transcription Whisper native du SDK en Python ou JavaScript ; les modèles restent en cache après le premier téléchargement, la transcription fonctionne donc sans connexion.
Un développeur dont l'application repose déjà sur le SDK OpenAI
Proposer un mode local sans réécrire le client
Faites pointer le client OpenAI existant vers le serveur local optionnel de Foundry Local, qui accepte les formats de requête OpenAI ; pour la distribution, passez au SDK en processus pour éviter de faire tourner un serveur.
Avant de vous engager
- Mise en route
- Installez le SDK (par exemple pip install foundry-local-sdk ou npm install foundry-local-sdk), demandez un modèle du catalogue et il se télécharge, se met en cache et se charge en quelques lignes de code ; winget installe la CLI sous Windows.
- Intégrations
- SDK pour C, C++, C#, JavaScript, Python et Rust ; formats compatibles OpenAI, y compris la Responses API ; un serveur web local optionnel pour LangChain et d'autres outils.
- Données et confidentialité
- L'inférence se fait sur l'appareil ; la télémétrie est activée par défaut et exclut, selon les notes de confidentialité, prompts, sorties, audio et identifiants bruts d'appareil ; la télémétrie non essentielle peut être désactivée.
- Coût à grande échelle
- Aucun frais de licence ni au token ; le coût, c'est le matériel de l'utilisateur et la taille de téléchargement de chaque modèle.
- Limites
- Conçu pour un utilisateur à la fois, sans file d'attente ni batching continu ; uniquement les modèles du catalogue ou des modèles ONNX enregistrés ; CUDA et cuDNN à installer à part.
Les points forts
- Runtime d'environ 20 Mo intégré à votre application, avec des SDK dans six langages
- Choix automatique du NPU, du GPU ou du CPU via ONNX Runtime
- Catalogue de modèles sélectionné et versionné, testé sur du matériel grand public
- Requêtes compatibles OpenAI, y compris le format de la Responses API
- Versions fréquentes ; v2.3.1 le 3 novembre 2026
Les points faibles
- Télémétrie activée par défaut
- Catalogue plus réduit qu'Ollama ou llama.cpp
- Conception mono-utilisateur, sans batching
- CUDA et cuDNN à installer à part
- CLI encore en preview, sous des conditions non MIT
Idéal pour
Les développeurs qui livrent des applications de bureau ou en périphérie ayant besoin d'un modèle local sur les machines des utilisateurs, sans clé d'API ni facture cloud.
Alternatives à Foundry Local
Foundry Local : questions fréquentes
- Foundry Local vaut-il le coup ?
- Foundry Local est une façon propre d'embarquer un petit modèle dans une application de bureau, mais son catalogue restreint, sa télémétrie activée par défaut et sa conception mono-utilisateur en font un piètre substitut à Ollama sur un poste de travail. Nous lui donnons 3.9 sur 5.
- Combien coûte Foundry Local ?
- Gratuit. SDK sous MIT ; la CLI sous les conditions de licence propres à Microsoft ; chaque modèle garde sa propre licence. Ni abonnement Azure ni facturation au token.
- Quels sont les inconvénients de Foundry Local ?
- Télémétrie activée par défaut; catalogue plus réduit qu'Ollama ou llama.cpp; conception mono-utilisateur, sans batching; cUDA et cuDNN à installer à part; cLI encore en preview, sous des conditions non MIT.
- À qui s’adresse Foundry Local ?
- Les développeurs qui livrent des applications de bureau ou en périphérie ayant besoin d'un modèle local sur les machines des utilisateurs, sans clé d'API ni facture cloud.
- Combien coûte Foundry Local pour une équipe ou en production ?
- Aucun frais de licence ni au token ; le coût, c'est le matériel de l'utilisateur et la taille de téléchargement de chaque modèle.
- Foundry Local est-il sûr pour les données de l’entreprise ?
- L'inférence se fait sur l'appareil ; la télémétrie est activée par défaut et exclut, selon les notes de confidentialité, prompts, sorties, audio et identifiants bruts d'appareil ; la télémétrie non essentielle peut être désactivée.
- Quelles sont les meilleures alternatives à Foundry Local ?
- Les alternatives les plus proches que nous avons testées sont Ollama, llama.cpp, llamafile et MLX.
Réponses vérifiées le 6 nov. 2026.