Einige der stärksten offenen Modelle aus China scheinen auf Nvidia-Chips entstanden zu sein, die ohne Lizenz nicht legal dorthin exportiert werden dürfen. Zu diesem Schluss kommt eine forensische Analyse von Will DePue von Unemployment Labs, die die Hardware aus den veröffentlichten Gewichten selbst herausliest. Für alle, die Modelle von DeepSeek, Kimi oder MiniMax nutzen, ändert sich an den Modellen nichts, doch die Methode ist neu und die politischen Folgen sind groß.
Die Technik ist raffiniert und überprüfbar. Vor dem Training werden die Gewichte eines Modells mit pseudozufälligen Startwerten gefüllt. In PyTorch auf Nvidia-GPUs hängt die Anordnung dieser Zahlen davon ab, wie viele Recheneinheiten der Chip hat: 132 bei Hopper-Chips wie H100, H200 und H800, 148 bei den Blackwell-Chips B200 und B300 und 152 bei GB200 und GB300. Manche Gewichte, etwa für Tokens, die im Training nie vorkommen, überstehen das Training nahezu unverändert. Eine Suche über Seeds und Anordnungen kann daher die ursprüngliche Anordnung rekonstruieren. DeepSeek verwendet über Generationen denselben Seed, 953049583. Auf einer physischen B300 nachgestellt, traf die Methode 461 von 469 ausgewählten Zeilen in DeepSeek-V4-Flash, 445 davon Bit für Bit.
Die Befunde betreffen sechs Modelle von vier Laboren. DeepSeek-V4-Flash und MiniMax-M3 passen zur Anordnung mit 148 Einheiten, DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro und Ant Groups Ling-3.1-flash zur Anordnung mit 152. Frühere Modelle derselben Labore lesen sich als Hopper. Die Methode stimmte mit allen 24 Fällen überein, in denen ein Entwickler die Hardware öffentlich genannt hatte, und der stärkste Beleg je Modell reicht von 49 bis 1.385 Sigma, weit über den rund 8 Sigma, die bei etwa 6 Billionen durchsuchten Kombinationen zufällig zu erwarten wären. Grobe Schätzungen setzen die größten Läufe bei etwa 4.500 und 3.000 Blackwell-GPUs an.
Für die Modelle, die wir besprechen, darunter DeepSeek V4 Pro, Kimi K3 und MiniMax M3, ändert das nichts an ihrer Leistung. Es untergräbt aber die verbreitete Erzählung, chinesische Labore hätten die Spitze allein mit älteren oder heimischen Chips erreicht, und zeigt, dass offene Gewichte mehr über ihre Herkunft verraten können, als ihre Macher beabsichtigen.
Der Autor ist bei den Grenzen vorsichtig, und Leser sollten es auch sein. Der Fingerabdruck zeigt, wo die Gewichte initialisiert wurden, nicht unbedingt, wo trainiert wurde. Er kann nicht zeigen, wo die Chips standen, wem sie gehörten oder ob ein Gesetz verletzt wurde, denn Blackwell-Kapazität lässt sich außerhalb Chinas mieten. Eine speziell konfigurierte AMD MI300X kann die Anordnungen nachahmen; das wurde nur für DeepSeek-V4-Flash ausgeschlossen. Die Schätzungen der GPU-Zahl beruhen auf Annahmen, denen der Autor nach eigenen Worten nicht traut, und die Arbeit ist nicht begutachtet.