中国の最も強力なオープンモデルのいくつかは、許可なしには中国へ合法的に輸出できないNvidiaのチップで作られたようです。これは、公開された重みそのものからハードウェアを読み取るという、Unemployment LabsのWill DePue氏による鑑識的な分析の結論です。DeepSeek、Kimi、MiniMaxのモデルを使っている人にとってモデル自体は何も変わりませんが、手法は新しく、政策上の意味は大きいものです。
手法は巧妙で、しかも検証可能です。学習の前に、モデルの重みは疑似乱数の初期値で埋められます。Nvidia GPU上のPyTorchでは、その数値の並び方がチップの演算ユニット数に左右されます。H100、H200、H800といったHopperのチップは132、BlackwellのB200とB300は148、GB200とGB300は152です。学習中に一度も現れないトークン用の重みなどはほぼ手つかずで残るため、シードと配置を探索すれば元の並びを復元できます。DeepSeekは世代をまたいで同じシード953049583を使っています。実機のB300で再現したところ、この手法はDeepSeek-V4-Flashで選んだ469行のうち461行に一致し、そのうち445行はビット単位で一致しました。
結果は四つの研究所の六つのモデルに及びます。DeepSeek-V4-FlashとMiniMax-M3は148ユニットの配置に、DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro、Ant GroupのLing-3.1-flashは152ユニットの配置に一致しました。同じ研究所の以前のモデルはHopperと読み取れます。開発者がハードウェアを公表している24件すべてで手法の結果は公表内容と一致し、各モデルの最も強い証拠は49から1,385シグマに及びます。これは、約6 兆通りの組み合わせを探索した場合に偶然で期待される約8シグマを大きく上回ります。大まかな推計では、最大の学習はBlackwell GPUを約4,500台と約3,000台使ったとされます。
DeepSeek V4 Pro、Kimi K3、MiniMax M3など私たちがレビューするモデルについて、性能面では何も変わりません。ただ、中国の研究所が古いチップや国産チップだけで最先端に到達したというよくある見方は揺らぎます。また、公開された重みが、作り手の意図以上に出自を明かしうることも示しています。
著者は限界について慎重で、読者もそうあるべきです。この痕跡が示すのは重みがどこで初期化されたかであり、必ずしも学習がどこで行われたかではありません。Blackwellの計算資源は中国国外で借りられるため、チップがどこにあったか、誰が所有していたか、法律違反があったかはわかりません。特別に設定したAMD MI300Xでもこの配置をまねることができ、その可能性が排除されたのはDeepSeek-V4-Flashだけです。GPU台数の推計は著者自身が確信を持てないとする仮定に基づいており、この研究は査読を受けていません。