Quem já treinou redes neurais conhece a frustração: fixa a semente aleatória, fixa a ordem dos dados, liga todas as opções de determinismo, e o resultado ainda pode mudar. Trabalhos anteriores mostraram que trocar um único bit de um parâmetro pode gerar tanta variação quanto todas as fontes de ruído usuais juntas. Um artigo na Nature Machine Intelligence de A. Ly e P. Gong oferece uma explicação tirada da teoria de sistemas dinâmicos, e ela não tranquiliza quem esperava que mais precisão resolvesse o problema.
O mecanismo proposto são as bacias crivadas. Imagine o espaço de todos os pesos iniciais possíveis, colorido conforme a solução em que o treinamento termina. Se as cores fossem separadas por fronteiras limpas, começar mais perto de um ponto conhecido tornaria o resultado mais previsível. Numa bacia crivada, todo ponto de partida que leva a uma solução fica arbitrariamente perto de pontos que levam a outra, em qualquer escala de ampliação, e a região misturada tem volume real em vez de ser uma fronteira fina. Isso a diferencia do caos comum: o caos faz as trajetórias divergirem com o tempo, enquanto o crivamento torna imprevisível o próprio resultado final, por menor que seja o erro de partida.
Os autores mostram isso de forma analítica numa rede mínima e derivam um expoente de incerteza próximo de zero, o que significa que aumentos fortes na precisão da inicialização quase não melhoram a previsibilidade. Depois treinaram cerca de 500.000 redes com arquiteturas VGG, ResNet e BERT, dados de MNIST, CIFAR-10 e IMDB, SGD, descida de gradiente e AdamW, além de vários métodos de regularização e funções de ativação, e encontraram as mesmas assinaturas em todos os casos. Eles estendem a medida dos pesos para as funções que as redes aprendem, então o efeito não se resume a pesos diferentes fazendo a mesma coisa.
Para quem trabalha com isso, a lição prática é sobre como relatar resultados. Se mudanças mínimas podem levar o treinamento a soluções diferentes, uma única execução é uma anedota, e comparações entre modelos ou métodos devem mostrar a dispersão entre várias execuções. O trabalho também oferece uma explicação comum para padrões descritos separadamente, como a variação irredutível entre execuções e os compromissos entre desempenho e reprodutibilidade.
Os limites estão bem colocados. Os autores chamam o crivamento de princípio organizador candidato, não de prova para todas as redes, e a evidência em redes profundas são assinaturas compatíveis com ele, não a derivação analítica completa. Os experimentos usam tarefas de benchmark relativamente pequenas; se o mesmo quadro vale para os grandes modelos de linguagem atuais, treinados uma única vez a um custo enorme, não é mostrado aqui. O artigo é revisado por pares e de acesso aberto, com os dados de origem publicados.