Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Notícias e pesquisa de IA

Notícias ·

Perícia nos pesos sugere que modelos chineses de ponta começaram em Nvidia Blackwell

Will DePue, da Unemployment Labs, comparou padrões de números aleatórios deixados em pesos publicados com a organização da GPU que os gerou. Ele encontra marcas de Blackwell no DeepSeek-V4-Flash e V4-Pro, Kimi K3 e K3.1-Pro, MiniMax-M3 e Ling-3.1-flash da Ant, enquanto versões anteriores aparecem como Hopper. O método acertou nos 24 casos em que o hardware era conhecido.

Alguns dos modelos abertos mais fortes da China parecem ter sido construídos em chips da Nvidia que não podem ser exportados legalmente para lá sem licença. Essa é a conclusão de uma análise forense de Will DePue, da Unemployment Labs, que lê o hardware nos próprios pesos publicados. Para quem usa modelos da DeepSeek, da Kimi ou da MiniMax, nada muda nos modelos, mas o método é novo e as implicações políticas são grandes.

A técnica é engenhosa e verificável. Antes do treino, os pesos de um modelo são preenchidos com valores iniciais pseudoaleatórios. No PyTorch em GPUs da Nvidia, a forma como esses números são distribuídos depende de quantas unidades de processamento o chip tem: 132 nos chips Hopper, como H100, H200 e H800, 148 nos Blackwell B200 e B300, e 152 nos GB200 e GB300. Alguns pesos, como os de tokens que nunca aparecem no treino, sobrevivem quase intactos, então uma busca entre sementes e disposições consegue recuperar o arranjo original. A DeepSeek reaproveita uma única semente, 953049583, entre gerações. Reproduzido numa B300 física, o método acertou 461 de 469 linhas selecionadas do DeepSeek-V4-Flash, 445 delas bit a bit.

As descobertas cobrem seis modelos de quatro laboratórios. DeepSeek-V4-Flash e MiniMax-M3 batem com a disposição de 148 unidades; DeepSeek-V4-Pro, Kimi K3, Kimi K3.1-Pro e Ling-3.1-flash, da Ant Group, com a de 152. Modelos anteriores dos mesmos laboratórios aparecem como Hopper. O método concordou com todos os 24 casos em que um desenvolvedor tinha informado publicamente o hardware, e a evidência mais forte para cada modelo vai de 49 a 1.385 sigma, muito acima dos cerca de 8 sigma esperados por acaso em cerca de 6 trilhões de combinações testadas. Estimativas aproximadas põem os maiores treinos em cerca de 4.500 e 3.000 GPUs Blackwell.

Para os modelos que avaliamos, incluindo DeepSeek V4 Pro, Kimi K3 e MiniMax M3, isso não muda nada no desempenho. Mas enfraquece a narrativa comum de que os laboratórios chineses chegaram à fronteira só com chips antigos ou nacionais, e mostra que pesos abertos podem revelar mais sobre sua origem do que os criadores pretendem.

O autor é cuidadoso com os limites, e os leitores também devem ser. A impressão digital mostra onde os pesos foram inicializados, não necessariamente onde o treino aconteceu. Ela não mostra onde estavam os chips, de quem eram nem se alguma lei foi violada, já que capacidade Blackwell pode ser alugada fora da China. Uma AMD MI300X configurada de modo especial consegue imitar as disposições; isso só foi descartado para o DeepSeek-V4-Flash. As estimativas de número de GPUs se apoiam em suposições nas quais o autor diz não confiar, e o trabalho não passou por revisão de pares.

Nossa opinião: Uma técnica engenhosa e verificável, com código público, que transforma o debate sobre controles de exportação em evidência. Ela mostra onde os pesos iniciais foram criados, não onde o treino rodou nem se alguma lei foi violada, e não passou por revisão independente.

Nossas análises:DeepSeek-V4-ProKimi K3MiniMax-M3

Fonte: Hacker News

Mais matérias