本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

ローカルLLM

ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。

別名: run locally, on-device model, Edge AI, on-device AI

執筆 Divya Sharma · 2026年11月16日確認 · レビューの方法

モデルをローカルで動かすことが現実的になったのは、高性能なオープンウェイトモデルが公開され、量子化版を簡単に動かせるツールが登場してからです。典型的な構成では、GGUF形式のモデルをダウンロードし、幅広いハードウェアで最小限のセットアップによる推論を目標に掲げるllama.cppか、より使いやすいラッパーのOllamaやLM Studioで実行します。これらの多くはOpenAI互換APIを公開しているため、既存のコードをローカルモデルに向けられます。

使われる理由

主な理由はプライバシーと管理のしやすさです。データがマシンの外に出ないため、機密文書やオフラインでの利用に向いています。トークンごとの請求はなく、モデルが勝手に変更されたり提供終了になったりすることもありません。手軽に試せる安価な方法でもあります。

トレードオフ

モデルはVRAMまたはユニファイドメモリに収まる必要があり、サイズが制限されます。確認にはGPU calculatorが役立ちます。ローカルモデルは通常、最大規模のホスト型フロンティアモデルより小さく性能も劣り、速度はハードウェア次第です。更新やモデルライセンスの確認は自分の責任になります。

エッジAI

エッジAI(オンデバイスAI)は、データセンターではなく、スマートフォン、カメラ、自動車、センサーなどデータが生まれるデバイス上でモデルを動かすという、より広い考え方です。小型の画像モデルや音声モデル、小規模言語モデルを含み、多くの場合NPU上で動きます。Google AI Edgeは、デバイスにモデルを展開するためのツールキットの一例です。

関連用語

GGUF
GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。
量子化
量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。
VRAM
VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
セルフホスティング(AIモデル)
AIモデルのセルフホスティング(self-hosting)とは、プロバイダーのAPIを呼び出す代わりに、自社のサーバー、レンタルしたGPU、ノートPCなど、自分が管理するハードウェアでモデルを動かすことです。モデルを選び、データを手元に置けますが、インフラは自分で運用します。
小規模言語モデル(SLM)
小規模言語モデル(small language model、SLM)とは、パラメータが比較的少なく、通常は数十億以下の言語モデルで、ノートPC、スマートフォン、1枚のGPUで、大規模なモデルより低いコストで動くように作られています。
NPU
NPU(neural processing unit)とは、ニューラルネットワークの計算を高速かつ低消費電力で実行するために作られたチップ、または大きなチップ内のブロックです。スマートフォンやノートPCは、NPUを使って小さなAIモデルをデバイス上で動かします。

出典