Foundry Local의 개요
Foundry Local은 언어 모델과 음성 모델을 사용자의 기기에서 직접 실행하기 위한 Microsoft의 런타임입니다. 약 20 MB 패키지로 C, C++, C#, JavaScript, Python, Rust용 네이티브 SDK를 제공하며 ONNX Runtime 위에 만들어졌습니다. 처음 사용할 때 엄선된 카탈로그에서 모델을 내려받아 캐시하고, 하드웨어에 가장 알맞은 실행 공급자로 NPU, GPU, CPU 가운데 하나를 고릅니다.
카탈로그에는 GPT OSS, Qwen, DeepSeek, Mistral, Phi 같은 채팅 모델과 전사용 Whisper가 있으며, 각각 일반 소비자용 하드웨어에 맞게 양자화되고 앱이 버전을 고정할 수 있도록 버전 관리됩니다. Responses API를 포함한 OpenAI 요청 형식을 지원하고, OpenAI 호환 로컬 웹 서버(선택)와 프리뷰 CLI도 있습니다. Windows, Apple silicon의 macOS, Linux에서 작동하며 Azure 구독이나 API 키가 필요 없습니다.
저장소는 활발합니다. 2026년 11월 2일 v2.3.0과 CLI 프리뷰 0.13.0에 이어 11월 3일 v2.3.1이 나왔습니다. SDK는 MIT 라이선스이고 CLI는 별도의 Microsoft 라이선스 조건을 따릅니다.
Foundry Local, 쓸 만한 가치가 있습니까?
Foundry Local은 Ollama나 llama.cpp와 다른 문제를 풉니다. 그쪽은 키보드 앞의 사람을 위해 모델을 돌리지만, Foundry Local은 배포하는 앱에 넣도록 만들어져 SDK를 통해 내 프로세스 안에서 실행되고 패키지에 약 20 MB만 더합니다. 모델은 처음 쓸 때 내려받고, 런타임이 NPU, GPU, CPU를 고르며, 앱은 오프라인에서도 토큰 요금 없이 작동합니다.
이 초점이 절충점을 정합니다. 카탈로그는 일부 러 좁혔습니다. Microsoft가 각 모델을 양자화하고 소비자용 하드웨어에서 시험하므로 Ollama 라이브러리보다 선택지는 적지만, 낯선 기기에서도 동작을 예측하기 쉽습니다. 9월 v2.1.0부터는 직접 만든 ONNX Runtime GenAI 모델도 등록할 수 있습니다. 6개 언어 SDK와 OpenAI 호환 요청 형식 덕분에 이식 비용이 낮습니다.
개발 속도가 빠릅니다. 10월 23일 버전 2.2.1은 코딩 작업용 도구 호출을 더했고, 11월 2일 2.3.0은 코딩 모델 지원을 개선하고 Parakeet와 Whisper 전사를 고쳤습니다. 저장소 별은 약 2,600개로 Ollama의 184,000개에 비하면 적어서, 문제가 생겼을 때 커뮤니티에서 얻을 답도 적습니다.
배포 전에 살펴볼 기본값이 세 가지 있습니다. 텔레메트리는 기본으로 켜져 있습니다. Microsoft는 프롬프트, 출력, 오디오, 원시 기기 식별자는 수집하지 않는다고 하며, 필수가 아닌 텔레메트리는 설정이나 ORT_DISABLE_TELEMETRY=1로 끌 수 있습니다. CUDA와 cuDNN 런타임은 더 이상 함께 제공되지 않아 따로 설치해야 합니다. 선택형 로컬 웹 서버는 같은 기기의 다른 프로세스가 호출할 수 있는 OpenAI 방식 엔드포인트를 열기 때문에, 필요하지 않다면 운영 빌드에서는 꺼 두어야 합니다.
서버용 스택이 아닙니다. README에 따르면 한 번에 한 사용자를 처리하며 요청 대기열이나 연속 배칭이 없고, 다중 사용자 부하에는 vLLM이나 Triton을 권합니다. 데이터를 기기 안에 두어야 하는 데스크톱이나 엣지 앱이라면 Microsoft가 제공하는 가장 깔끔한 선택지입니다.
제 역할을 하는 곳
Windows 데스크 톱 앱을 공급하는 의료 소프트웨어 업체
텍스트를 클라우드로 보내지 않고 진료 기록 요약하기
C# SDK와 카탈로그의 Phi나 Qwen 모델을 넣습니다. 텍스트는 의료진의 PC에 남고, 토큰 비용이 없으며, 앱이 모델 버전을 고정하므로 업데이트로 출력이 바뀌지 않습니다.
기술자가 오프라인으로 일하는 현장 서비스 회사
신호가 없는 노트북에서 음성 메모 전사하기
Python이나 JavaScript에서 SDK의 네이티브 Whisper 전사를 씁니다. 모델은 첫 다운로드 후 캐시되므로 연결 없이도 전사가 됩니다.
이미 OpenAI SDK로 앱을 만든 개발자
클라이언트를 다시 쓰지 않고 로컬 모드 제공하기
기존 OpenAI 클라이언트를 OpenAI 요청 형식을 받는 Foundry Local의 선택형 로컬 서버로 돌립니다. 배포할 때는 서버를 띄우지 않도록 프로세스 내 SDK로 옮깁니다.
도입 전 확인할 점
- 설정
- SDK를 설치하고(예: pip install foundry-local-sdk, npm install foundry-local-sdk) 카탈로그의 모델을 요청하면 몇 줄의 코드로 내려받기, 캐시, 로드가 끝납니 다. Windows에서는 winget으로 CLI를 설치합니다.
- 연동
- C, C++, C#, JavaScript, Python, Rust용 SDK. Responses API를 포함한 OpenAI 호환 형식. LangChain 등 도구를 위한 선택형 로컬 웹 서버.
- 데이터와 개인정보
- 추론은 기기에서 실행됩니다. 텔레메트리는 기본으로 켜져 있으나 개인정보 안내에 따르면 프롬프트, 출력, 오디오, 원시 기기 식별자는 제외되며, 필수가 아닌 텔레메트리는 끌 수 있습니다.
- 대규모 사용 시 비용
- 라이선스나 토큰 요금이 없습니다. 비용은 사용자 하드웨어와 각 모델의 다운로드 용량입니다.
- 제한
- 한 번에 한 사용자용이며 요청 대기열과 연속 배칭이 없습니다. 카탈로그 모델이나 등록한 ONNX 모델만 쓸 수 있습니다. CUDA와 cuDNN은 따로 설치해야 합니다.
좋은 점
- 앱 안에 넣는 약 20 MB 런타임과 6개 언어 SDK
- ONNX Runtime으로 NPU, GPU, CPU 자동 선택
- 소비자용 하드웨어에서 검증한 엄선·버전 관리 모델 카탈로그
- Responses API 형식을 포함한 OpenAI 호환 요청
- 잦은 릴리스, 2026년 11월 3일 v2.3.1
아쉬운 점
- 텔레메트리가 기본으로 켜져 있음
- Ollama나 llama.cpp보다 카탈로그가 작음
- 단일 사용자 설계로 배칭 없음
- CUDA와 cuDNN은 따로 설치해야 함
- CLI는 아직 프리뷰이며 MIT가 아닌 조건
추천 대상
API 키나 클라우드 요금 없이 사용자 기기에서 로컬 모델이 필요한 데스크톱이나 엣지 앱을 배포하는 개발자.
Foundry Local 대안
Foundry Local: 자주 묻는 질문
- Foundry Local, 쓸 만한 가치가 있습니까?
- Foundry Local은 데스크톱 앱에 작은 모델을 넣는 깔끔한 방법이지만, 엄선된 카탈로그, 기본으로 켜진 텔레메트리, 단일 사용자 설계 때문에 워크스테이션에서 Ollama를 대신하기에는 부족합니다. 평점은 5점 만점에 3.9점입니다.
- Foundry Local의 가격은 얼마입니까?
- 무료. SDK는 MIT, CLI는 Microsoft 자체 라이선스 조건을 따르며 각 모델은 고유 라이선스를 유지합니다. Azure 구독이나 토큰당 요금이 없습니다.
- Foundry Local의 단점은 무엇입니까?
- 텔레메트리가 기본으로 켜져 있음; Ollama나 llama.cpp보다 카탈로그가 작음; 단일 사용자 설계로 배칭 없음; CUDA와 cuDNN은 따로 설치해야 함; CLI는 아직 프리뷰이며 MIT가 아닌 조건.
- Foundry Local에 적합한 사람은 누구입니까?
- API 키나 클라우드 요금 없이 사용자 기기에서 로컬 모델이 필요한 데스크톱이나 엣지 앱을 배포하는 개발자.
- 팀이나 프로덕션 환경에서 Foundry Local의 비용은 얼마입니까?
- 라이선스나 토큰 요금이 없습니다. 비용은 사용자 하드웨어와 각 모델의 다운로드 용량입니다.
- Foundry Local에 회사 데이터를 맡겨도 안전합니까?
- 추론은 기기에서 실행됩니다. 텔레메트리는 기본으로 켜져 있으나 개인정보 안내에 따르면 프롬프트, 출력, 오디오, 원 시 기기 식별자는 제외되며, 필수가 아닌 텔레메트리는 끌 수 있습니다.
- Foundry Local의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Ollama, llama.cpp, llamafile 및 MLX입니다.
답변 확인일: 2026년 11월 6일.