Hunyuan-0.5B-Instructレビュー：Tencentの最小モデルと、ローカルでの動かし方

多くの言語モデルは、実用的に使うにはグラフィックカードが必要です。Tencentのファミリーで最小の5億（500M）パラメーターのモデルであるHunyuan-0.5B-Instructは、代わりにCPUやエッジデバイスで動くように作られています。

概要

指示チューニングされたモデルで、最大13Bまである大きな兄弟モデルの学習手法を受け継いでいます。非常に長いコンテキスト、grouped-query attention（GQA、メモリ使用量を減らす仕組み）、複数の量子化形式に対応しています。このサイズにしては、軽い作業で驚くほど有能です。

強み

• CPUやエッジデバイスで動き、使うVRAMは約1GBなので、リソースの少ないマシンに向いています。
• 論理や哲学のタスクで堅実な推論をします。
• 複数の手順の指示に従い、構造化された答えを返します。
• 構文の修正やSQLクエリの調整など、開発の基本的なタスクをこなします。

弱み

• 英語以外は弱く、インドネシア語の翻訳に苦戦しました。
• ガードレールが緩く、倫理的に問題のある指示にも拒否せずに答えます。
• 研究論文のような長い出力では、大きなモデルと比べて一貫性が失われます。

vLLMとOpen WebUIでのインストール

必要なもの

• Ubuntu
• 任意：NVIDIAのGPU（ここで紹介する環境では48GBのRTX A6000を使用）
• モデル用に約1.2GBのストレージ
• Python 3.9以降
• vLLM
• Open WebUI

1. vLLMをインストールする

pip install vllm

2. モデルをダウンロードして配信する

python3 -m vllm.entrypoints.openai.api_server \
  --model Tencent-Hunyuan/Hunyuan-0.5B-Instruct \
  --port 8000

これでモデルがダウンロードされ、localhost:8000で配信されます。

3. Open WebUI（ブラウザのフロントエンド）をインストールして起動する

git clone https://github.com/open-webui/open-webui
cd open-webui
docker compose up -d

4. 画面を開く

ブラウザでhttp://localhost:3000を開くと、Open WebUIからモデルとチャットできます。

報告されたテスト結果

• VRAMの使用量は1GBをわずかに超える程度で、CPUやモバイル向けのGPUで動きます。
• 推論：バットとボールの問題のような論理問題を解きました。
• コーディング：JavaScriptの構文を直し、SQLクエリを最適化し、コード片をデバッグしました。
• 哲学：仮定のシナリオを一歩ずつ推論しました。
• 限界：非倫理的な指示を検知も拒否もせず、リソースの少ない言語ではいくつか事実をでっち上げました。

結論：基本的な推論、ローカルでのコーディング支援、エッジへのデプロイなら、Hunyuan-0.5B-Instructはほぼどこにでも収まるサイズの良いオープンソースの選択肢です。長文の執筆や英語以外の作業なら、メモリを余分に使ってでも大きなモデルを使う価値があります。

モデルはHugging Faceで入手できます。