OpenGPT-OSS 20B：レビューと、Ollamaでローカルに動かす方法

有能な言語モデルを自分のマシンで動かすには、かつてはホスト型よりかなり劣るもので妥協するしかありませんでした。OpenGPT-OSSはOpenAIのオープンウェイトのモデルのファミリーで、20Bと120BのパラメーターサイズがApache 2.0ライセンスで公開されています。chain-of-thoughtの推論、エージェント型のツール利用、PFTによるファインチューニングに対応しています。

20B版はOllamaで入手でき、最近の一般向けGPUで動き、必要なメモリを減らすMXFP4などの量子化形式に対応しています。

得意なこと

能力	性能
chain-of-thoughtの推論	強い
コードの生成とデバッグ	堅実
タスクの計画とスケジュール作成	正確
文章の平易化	分かりやすい
多言語対応	ばらつきがある
ガードレールと安全フィルター	慎重（20B）、緩め（120B）
量子化時の性能	品質の大部分を保つ

必要なもの

• OS：Linux、macOS、Windows（Ollama経由）
• RAM：16GB以上を推奨
• GPU：16GBのVRAM（NVIDIAが望ましい）、またはCPUのみ（遅くなります）
• ストレージ：20Bモデルで約13GB

Ollamaでのインストール

1. Ollamaをインストールまたは更新する

Linux：

curl -fsSL https://ollama.com/install.sh | sh

macOS：

brew install ollama

Windows：ollama.comからWindows用のインストーラーをダウンロードして実行します。

Ollamaはv0.1.11以降が必要です。古いバージョンではモデルのダウンロードに問題が起きます。

2. モデルを実行する

ollama run open-gpt-oss

これで量子化された20Bモデル（約13GB）がダウンロードされ、チェックサムが検証され、ターミナルでチャットのセッションが開きます。

3. 任意：Open WebUIでブラウザの画面を加える

pip install open-webui

open-webui serve

次にブラウザでhttp://localhost:3000を開くと、モデルが読み込まれ、チャットできる状態になっているはずです。

実際のタスクでの結果

RTX A6000での初期の実行によると：

タスク	結果
数学の推論	正しい手順で問題を解いた
CUDAのカーネルのコード	GPUの行列カーネルを書き、説明した
旅行の計画	豪ドルの予算付きで現実的な10日間の旅程を作った
勤務表の作成	制約を守った人員配置の計画を、注記付きで作った
翻訳	まちまち。よく知られた言語のほうが良かった
哲学と文学	多重知能理論を分かりやすく説明した
ガードレール	20Bモデルは不適切な指示を拒否した
VRAMの使用量（MXFP4）	約15GB

注意点：多言語の出力にはむらがあり、20Bモデルはユーモアと創作の幅に欠けます。

結論：GPT-3.5クラスのアシスタントのローカルな代わりとして、20Bモデルは13GBに見合う働きをします。16GBのカード1枚での推論、コーディング、オフラインの作業に向いており、安全フィルターは慎重寄りです。

リンク

• Ollama：https://ollama.com
• Hugging Faceのモデルカード：OpenGPT-OSS-20B