ERNIE 5.5 Flash Baseとは?
ERNIE 5.5 Flash Base は Baidu の事前学習済みベースモデルで、2026年10月に Hugging Face で公開 されました。スパースな mixture-of-experts で、総計 2800 億パラメータ、1 トークンあたり約 140 億が有効、43 層からなり、各 MoE 層は 512 のルーテッドエキスパートを持ち、上位 10 と共有 1 つを選びます。混合 FP8 で 33.5 兆トークンをゼロから学習し、重みは FP8 と BF16 の両方で公開されています。
これはベースモデルでチャットモデルではないため、completions エンドポイントで提供され、指示チューニングもアラインメントも受けていません。扱うのはテキストのみです。学習時の最大コンテキストは 131,072 トークン(128K)で、公開された設定ではファインチューニングと推論向けに最大 1,048,576(1M)まで有効です。重みは標準的なオープンソースライセンスではなく、Baidu 独自の ERNIE 5.5 Flash Base Model License Agreement が付いています。
ERNIE 5.5 Flash Baseは使う価値があるか?
ベースモデルは素材であって製品ではなく、これにふさわしい読者は、他者の事前学習の上に学習を積むチームです。ERNIE 5.5 Flash Base は良い素材です。Baidu のベンチマーク表では、比較対象の DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base をほとんどの行で上回ります。MMLU で 93.3 対(最も近いもので)89.4、MMLU-Pro で 78.4 対 69.2、そしてベースモデルとしては強いコーディングスコアで、HumanEval+ 82.3、LiveCodeBench 40.1 です。
効率が「Flash」という名前の意味です。2800 億パラメータのうち 140 億を 1 トークンあたり有効にするので、140 億規模のモデルのように計算しながら 2800 億の知識の蓄えを引き出し、投機的デコードの機能を組み込んで速度を重視しています。事前学習や追加学習をするチームにとって、この比率こそが大きなモデルを提供可能にします。
スコアは Baidu 自身のもので、Baidu が選んだベースモデルに対して測られたものと読んでください。ここに SWE-bench やエージェント的なテストはありません。ベースモデルはチューニングなしではそれができないからで、比較対象は多くの人が日々使う指示モデルではなく、最近の他のベースチェックポイントです。
注意点:2 つの制約が対象を狭めます。テキスト専用であり、ライセンスは Apache や MIT ではなく Baidu 独自の ERNIE 5.5 Flash Base 契約なので、いつもの寛容な前提は通用せず、その上に構築する前に条項を読む必要があります。有能なチャットモデルがほしいだけの読者の多くは、指示チューニング済みの ERNIE か、まったく別のモデルを見るべきです。
結論:自前のモデルをファインチューニングし、出発点として速く知識のあるベースがほしいなら、これは DeepSeek や Qwen のベースと並んで最終候補に値します。会話したり API で呼んだりしたいなら、これはスタックの違う層です。
真価を発揮する場面
ドメイン特化モデルを作る研究室
ゼロから事前学習する代わりに、強い汎用ベースから始めたい
自前のコーパスで BF16 の重みをファインチューニングします。有効 140 億の設計なので、学習と提供のコストは 2800 億というより 140 億のモデルに近くなります。標準的なオープ ンソースライセンスではないので、まず Baidu のライセンスを読んでください。
ロングコンテキスト機能を加える ML チーム
非常に長いウィンドウまで伸ばせるベースの追加学習をしたい
公開された設定では、事前学習で使った 131,072 を超えて、ファインチューニングと推論向けに最大 1,048,576 トークンまで有効です。ベースのアーキテクチャを変えずに長文書向けに適応できます。
オープンなベースモデルをコストで評価するエンジニア
有効パラメータあたりの知識とコーディングの質を比較したい
MMLU 93.3 と HumanEval+ 82.3 を、同程度の有効パラメータ予算の DeepSeek-V4-Flash-Base や Qwen のベースと比べます。これらが Baidu 自身によるベースチェックポイントの測定値である点を覚えておいてください。
導入前に確認すること
- 導入
- 重みは FP8 と BF16 で Hugging Face にあり、チャットチューニングがないため completions エンドポイントで提供されます。使う前にファインチューニングが前提です。設定では最大 1M トークンのコンテキストが有効です。
- 連携
- ベースモデルの標準的な提供とファインチューニングのツール。指示、ツール呼び出し、エージェントの機能は標準では付きません。入出力はテキストのみです。
- データとプライバシー
- Baidu の ERNIE 5.5 Flash Base Model License Agreement v1.0 のオープンウェイトで、ローカルで実行またはファインチューニングすればデータは自分のハードウェアに留まります。ライセンスは独自なので、商用利用の前に条項を確認してください。
- 大規模利用時のコスト
- ライセンス料はありませんが、コストは 2800 億パラメータの MoE のメモリと計算です。1 トークンあたり有効 140 億なので、リクエストあたりの計算は総サイズよりはるかに小さく抑えられます。
- 制限
- アラインメントのないベースモデル。テキストのみ。Apache や MIT ではなく独自ライセンス。ベンチマークは Baidu 自身が選んだベースモデルに対するものです。
良い点
- ベースモデルの比較対象をほとんどのテストで先導
- 総計 2800 億のうち有効 140 億が提供コストを抑える
- ベースモデルとして強いコーディングスコア(HumanEval+ 82.3)
- FP8 と BF16 の両方の重み。投機的デコードを内蔵
気になる点
- 指示チューニングもアラインメントもない ベースモデル
- Apache や MIT ではなく Baidu 独自のライセンス
- テキストのみ。視覚もエージェント的用途もなし
- すべてのベンチマークが Baidu 実施で、選ばれたベースモデルに対するもの
おすすめの人
自前のモデルを事前学習またはファインチューニングし、すぐ使えるチャットモデルではなく、速くて知識のある mixture-of-experts のベースがほしいチーム向けです。