OpenGPT-OSS 20B: 리뷰와 Ollama로 로컬에서 실행하는 방법

예전에는 쓸 만한 언어 모델을 내 컴퓨터에서 돌리려면 호스팅 모델보다 한참 뒤처진 것으로 만족해야 했습니다. OpenGPT-OSS는 OpenAI의 오픈 웨이트 모델 계열로, Apache 2.0 라이선스로 20B와 120B 매개변수 크기가 공개되었습니다. 사고의 사슬 추론, 에이전트 방식의 도구 사용, PFT를 통한 파인튜닝을 지원합니다.

20B 버전은 Ollama로 받을 수 있고, 최신 소비자용 GPU에서 돌아가며, 필요한 메모리를 줄이는 MXFP4 같은 양자화 형식을 지원합니다.

잘하는 것

능력	성능
사고의 사슬 추론	강함
코드 생성과 디버깅	탄탄함
작업 계획과 일정 수립	정확함
쉬운 말로 풀어 쓰기	명확함
다국어 지원	고르지 않음
가드레일과 안전 필터	보수적(20B), 더 느슨함(120B)
양자화 시 성능	품질 대부분 유지

필요한 것

• OS: Linux, macOS 또는 Windows(Ollama 사용)
• RAM: 16GB 이상 권장
• GPU: VRAM 16GB(NVIDIA 권장), 또는 더 느린 CPU 전용
• 저장 공간: 20B 모델에 약 13GB

Ollama로 설치하기

1. Ollama 설치 또는 업데이트

Linux:

curl -fsSL https://ollama.com/install.sh | sh

macOS:

brew install ollama

Windows: ollama.com에서 Windows 설치 파일을 내려받아 실행합니다.

Ollama v0.1.11 이상이 필요합니다. 이전 버전은 모델을 내려받는 데 문제가 있습니다.

2. 모델 실행

ollama run open-gpt-oss

양자화된 20B 모델(약 13GB)을 내려받아 체크섬을 확인하고 터미널에서 채팅 세션을 엽니다.

3. 선택 사항: Open WebUI로 브라우저 인터페이스 추가

pip install open-webui

open-webui serve

그런 다음 브라우저에서 http://localhost:3000을 열면 모델이 로드되어 채팅할 준비가 되어 있어야 합니다.

실제 작업에서의 결과

RTX A6000에서 진행한 초기 실행에 따르면:

작업	결과
수학 추론	올바른 단계로 문제를 풀었음
CUDA 커널 코드	GPU 행렬 커널을 작성하고 설명했음
여행 계획	AU$ 예산을 반영한 현실적인 10일 일정을 만들었음
직원 근무표	제약 조건을 지킨 인력 계획을 메모와 함께 만들었음
번역	엇갈림, 잘 알려진 언어가 더 나았음
철학과 문학	다중 지능 이론을 명확하게 설명했음
가드레일	20B 모델은 부적절한 프롬프트를 거부했음
VRAM 사용량(MXFP4)	약 15GB

주의할 점: 다국어 출력이 고르지 않고, 20B 모델은 유머와 창작의 폭이 부족합니다.

결론: GPT-3.5급 어시스턴트를 로컬에서 대신할 모델로서 20B 모델은 13GB의 값을 합니다. 16GB 카드 한 장으로 하는 추론, 코딩, 오프라인 작업에 맞으며, 안전 필터는 조심스러운 편입니다.

링크

• Ollama: https://ollama.com
• Hugging Face의 모델 카드: OpenGPT-OSS-20B