중국의 가장 강력한 오픈 모델 일부가 허가 없이는 중국에 합법적으로 수출할 수 없는 Nvidia 칩으로 만들어진 것으로 보입니다. 이는 공개된 가중치 자체에서 하드웨어를 읽어 내는 Unemployment Labs의 Will DePue가 내놓은 포렌식 분석의 결론입니다. DeepSeek, Kimi, MiniMax 모델을 쓰는 사람에게 모델 자체는 달라지지 않지만, 방법은 새롭고 정책적 함의는 큽니다.
기법은 영리하고 검증할 수 있습니다. 학습 전에 모델 가중치는 의사 난수 초깃값으로 채워집니다. Nvidia GPU의 PyTorch에서는 이 숫자들의 배치가 칩의 연산 유닛 수에 따라 달라집니다. H100, H200, H800 같은 Hopper 칩은 132개, Blackwell B200과 B300은 148개, GB200과 GB300은 152개입니다. 학습 중 한 번도 나오지 않는 토큰의 가중치처럼 일부 가중치는 거의 그대로 남기 때문에, 시드와 배치를 탐색하면 원래 배열을 복원할 수 있습니다. DeepSeek은 세대를 넘어 같은 시드 953049583을 씁니다. 실제 B300에서 재현했을 때 이 방법은 DeepSeek-V4-Flash에서 고른 469개 행 중 461개와 일치했고, 그중 445개는 비트 단위까지 같았습니다.
결과는 네 연구소의 여섯 모델에 걸쳐 있습니다. DeepSeek-V4-Flash와 MiniMax-M3는 148유닛 배치와, DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro, Ant Group의 Ling-3.1-flash는 152유닛 배치와 일치합니다. 같은 연구소의 이전 모델은 Hopper로 읽힙니다. 개발사가 하드웨어를 공개한 24개 사례 모두에서 이 방법의 결과가 일치했고, 모델별 가장 강한 증거는 49에서 1,385시그마에 이릅니다. 이는 약 6조 개 조합을 탐색했을 때 우연히 기대되는 약 8시그마를 크게 웃돕니다. 대략적인 추정으로는 가장 큰 학습에 Blackwell GPU 약 4,500대와 약 3,000대가 쓰였습니다.
DeepSeek V4 Pro, Kimi K3, MiniMax M3 등 우리가 리뷰하는 모델의 성능에는 아무 변화가 없습니다. 다만 중국 연구소들이 구형 칩이나 국산 칩만으로 최전선에 도달했다는 흔한 이야기는 약 해지며, 공개 가중치가 만든 쪽의 의도보다 더 많은 출처 정보를 드러낼 수 있음을 보여 줍니다.
저자는 한계에 신중하며, 독자도 그래야 합니다. 이 흔적이 보여 주는 것은 가중치가 어디서 초기화되었는지이지 학습이 어디서 이뤄졌는지가 아닐 수 있습니다. Blackwell 용량은 중국 밖에서 빌릴 수 있으므로, 칩이 어디에 있었는지, 누가 소유했는지, 법을 어겼는지는 알 수 없습니다. 특수하게 설정한 AMD MI300X도 이 배치를 흉내 낼 수 있으며, 그 가능성은 DeepSeek-V4-Flash에 대해서만 배제되었습니다. GPU 대수 추정은 저자 스스로 자신 없다고 밝힌 가정에 기대고 있고, 연구는 동료 심사를 거치지 않았습니다.