O que é Foundry Local?
Foundry Local é o runtime da Microsoft para rodar modelos de linguagem e de fala no próprio dispositivo do usuário. É um pacote de cerca de 20 MB com SDKs nativos para C, C++, C#, JavaScript, Python e Rust, construído sobre o ONNX Runtime, que baixa modelos de um catálogo curado no primeiro uso, guarda em cache e escolhe o melhor provedor de execução para o hardware: NPU, GPU ou CPU.
O catálogo inclui modelos de chat como GPT OSS, Qwen, DeepSeek, Mistral e Phi, além do Whisper para transcrição, cada um quantizado para hardware de consumo e versionado para que um app possa fixar uma versão. Ele fala os formatos de requisição da OpenAI, incluindo a Responses API, e tem um servidor web local opcional compatível com OpenAI e uma CLI em preview. Roda no Windows, no macOS com Apple silicon e no Linux, sem assinatura do Azure nem chave de API.
O repositório é ativo: a v2.3.1 saiu em 3 de novembro de 2026, depois da v2.3.0 e da preview 0.13.0 da CLI em 2 de novembro. Os SDKs são licenciados sob MIT; a CLI segue termos de licença próprios da Microsoft.
Foundry Local vale a pena?
Foundry Local resolve um problema diferente do Ollama ou do llama.cpp. Esses rodam modelos para quem está no teclado; o Foundry Local foi feito para ser embutido num aplicativo que você distribui, então roda no seu processo por meio de um SDK e acrescenta cerca de 20 MB ao pacote. Os modelos são baixados no primeiro uso, o runtime escolhe NPU, GPU ou CPU, e o app funciona offline sem conta por token.
Esse foco define as concessões. O catálogo é curado de propósito: a Microsoft quantiza e testa cada modelo em hardware de consumo, então há menos opções que na biblioteca do Ollama, mas um comportamento mais previsível em máquinas desconhecidas. Desde a v2.1.0, em setembro, também dá para registrar seus próprios modelos do ONNX Runtime GenAI. Seis SDKs de linguagem e um formato de requisição compatível com OpenAI mantêm baixo o custo de portar.
O projeto anda rápido. A versão 2.2.1, de 23 de outubro, trouxe chamada de ferramentas para fluxos de programação, e a 2.3.0, de 2 de novembro, melhorou o suporte a modelos de código e corrigiu a transcrição com Parakeet e Whisper. O repositório tem cerca de 2.600 estrelas, pouco perto das 184.000 do Ollama, o que significa menos respostas da comunidade quando algo quebra.
Três padrões merecem atenção antes de lançar. A telemetria vem ligada por padrão; a Microsoft diz que prompts, saídas, áudio e identificadores brutos do dispositivo não são coletados, e a telemetria não essencial pode ser desligada na configuração ou com ORT_DISABLE_TELEMETRY=1. Os runtimes de CUDA e cuDNN não vêm mais incluídos e precisam ser instalados à parte. O servidor web local opcional expõe um endpoint no estilo OpenAI que outros processos da máquina podem chamar, então deixe-o desligado nas versões de produção, a menos que precise dele.
Não é uma pilha de servidor. O README diz que ele atende um usuário por vez, sem fila de requisições nem batching contínuo, e indica vLLM ou Triton para cargas com vários usuários. Para um app de desktop ou de borda que precisa manter os dados no dispositivo, é a opção mais limpa que a Microsoft oferece.
Onde ele se destaca
Um fornecedor de software de saúde com um app de desktop para Windows
Resumir anotações clínicas sem mandar texto para a nuvem
Embuta o SDK de C# e um modelo Phi ou Qwen do catálogo; o texto fica no PC do profissional, não há custo por token e o app fixa uma versão do modelo para que as saídas não mudem com uma atualização.
Uma empresa de assistência técnica cujos técnicos trabalham offline
Transcrever notas de voz em notebooks sem sinal
Use a transcrição nativa com Whisper do SDK em Python ou JavaScript; os modelos ficam em cache depois do primeiro download, então a transcrição funciona sem conexão.
Um desenvolvedor com um app já escrito sobre o SDK da OpenAI
Oferecer um modo local sem reescrever o cliente
Aponte o cliente OpenAI existente para o servidor local opcional do Foundry Local, que aceita os formatos de requisição da OpenAI; para distribuir, passe para o SDK em processo e evite rodar um servidor.
Antes de decidir
- Configuração
- Instale o SDK (por exemplo pip install foundry-local-sdk ou npm install foundry-local-sdk), peça um modelo do catálogo e ele é baixado, guardado em cache e carregado em poucas linhas de código; o winget instala a CLI no Windows.
- Integrações
- SDKs para C, C++, C#, JavaScript, Python e Rust; formatos compatíveis com OpenAI, incluindo a Responses API; um servidor web local opcional para LangChain e outras ferramentas.
- Dados e privacidade
- A inferência roda no dispositivo; a telemetria vem ligada por padrão e, segundo as notas de privacidade, exclui prompts, saídas, áudio e identificadores brutos do dispositivo; a telemetria não essencial pode ser desligada.
- Custo em escala
- Sem taxas de licença ou por token; o custo é o hardware do usuário e o tamanho do download de cada modelo.
- Limites
- Feito para um usuário por vez, sem fila de requisições nem batching contínuo; só modelos do catálogo ou ONNX registrados; CUDA e cuDNN precisam ser instalados à parte.
O que é bom
- Runtime de cerca de 20 MB que vai dentro do seu app, com SDKs em seis linguagens
- Escolha automática de NPU, GPU ou CPU via ONNX Runtime
- Catálogo de modelos curado e versionado, testado em hardware de consumo
- Requisições compatíveis com OpenAI, incluindo o formato da Responses API
- Lançamentos frequentes; v2.3.1 em 3 de novembro de 2026
O que não é
- Telemetria ligada por padrão
- Catálogo menor que o do Ollama ou do llama.cpp
- Desenho para um usuário, sem batching
- CUDA e cuDNN precisam ser instalados à parte
- A CLI ainda está em preview, sob termos que não são MIT
Ideal para
Desenvolvedores que lançam apps de desktop ou de borda que precisam de um modelo local nas máquinas dos usuários, sem chave de API nem conta na nuvem.
Alternativas ao Foundry Local
Foundry Local: perguntas frequentes
- Foundry Local vale a pena?
- Foundry Local é um jeito organizado de embutir um modelo pequeno num app de desktop, mas o catálogo curado, a telemetria ligada por padrão e o desenho para um único usuário fazem dele um substituto fraco do Ollama numa estação de trabalho. Damos nota 3.9 de 5.
- Quanto custa Foundry Local?
- Grátis. SDKs sob MIT; a CLI sob os termos de licença próprios da Microsoft; cada modelo mantém sua própria licença. Sem assinatura do Azure nem cobrança por token.
- Quais são as desvantagens de Foundry Local?
- Telemetria ligada por padrão; catálogo menor que o do Ollama ou do llama.cpp; desenho para um usuário, sem batching; cUDA e cuDNN precisam ser instalados à parte; a CLI ainda está em preview, sob termos que não são MIT.
- Para quem Foundry Local é indicado?
- Desenvolvedores que lançam apps de desktop ou de borda que precisam de um modelo local nas máquinas dos usuários, sem chave de API nem conta na nuvem.
- Quanto custa Foundry Local para uma equipe ou em produção?
- Sem taxas de licença ou por token; o custo é o hardware do usuário e o tamanho do download de cada modelo.
- Foundry Local é seguro para dados da empresa?
- A inferência roda no dispositivo; a telemetria vem ligada por padrão e, segundo as notas de privacidade, exclui prompts, saídas, áudio e identificadores brutos do dispositivo; a telemetria não essencial pode ser desligada.
- Quais são as melhores alternativas ao Foundry Local?
- As alternativas mais próximas que analisamos são Ollama, llama.cpp, llamafile e MLX.
Respostas verificadas em 6 de nov. de 2026.