Quien haya entrenado redes neuronales conoce la frustración: se fija la semilla aleatoria, se fija el orden de los datos, se activan todas las opciones de determinismo y el resultado aún puede cambiar. Trabajos anteriores encontraron que cambiar un solo bit de un parámetro puede producir tanta variación como todas las fuentes de ruido habituales juntas. Un artículo en Nature Machine Intelligence de A. Ly y P. Gong ofrece una explicación tomada de la teoría de sistemas dinámicos, y no es tranquilizadora para quien esperaba que más precisión resolviera el problema.
El mecanismo propuesto son las cuencas acribilladas. Imagina el espacio de todos los pesos iniciales posibles, coloreado según la solución a la que acaba llegando el entrenamiento. Si los colores estuvieran separados por fronteras limpias, empezar más cerca de un punto conocido haría el resultado más predecible. En una cuenca acribillada, cada punto de partida que lleva a una solución está arbitrariamente cerca de puntos que llevan a otra, a cualquier escala que se amplíe, y la región mezclada tiene volumen real en lugar de ser una frontera fina. Eso la distingue del caos corriente: el caos hace que las trayectorias diverjan con el tiempo, mientras que el acribillado hace impredecible el resultado final por pequeño que sea el error de partida.
Los autores lo demuestran de forma analítica en una red mínima y obtienen un exponente de incertidumbre cercano a cero, lo que significa que aumentos fuertes en la precisión de la inicialización apenas mejoran la predictibilidad. Después entrenaron unas 500.000 redes con arquitecturas VGG, ResNet y BERT, datos de MNIST, CIFAR-10 e IMDB, SGD, descenso de gradiente y AdamW, y diversos métodos de regularización y funciones de activación, y encontraron las mismas señales en todos los casos. Además extienden la medida de los pesos a las funciones que aprenden las redes, así que el efecto no se reduce a pesos distintos que hacen lo mismo.
Para quienes trabajan con estos modelos, la lección práctica tiene que ver con cómo se informa. Si cambios mínimos pueden llevar el entrenamiento a soluciones distintas, una sola ejecución es una anécdota, y las comparaciones entre modelos o métodos deberían mostrar la dispersión entre varias ejecuciones. También ofrece una explicación común para patrones que se habían descrito por separado, como la variación irreducible entre ejecuciones y los compromisos entre rendimiento y reproducibilidad.
Los límites se exponen con claridad. Los autores presentan el acribillado como un principio organizador candidato, no como una prueba para todas las redes, y la evidencia en redes profundas consiste en señales compatibles con él, no en la derivación analítica completa. Los experimentos usan tareas de benchmark relativamente pequeñas; si el mismo cuadro vale para los grandes modelos de lenguaje actuales, entrenados una sola vez a un coste enorme, no se demuestra aquí. El artículo está revisado por pares y es de acceso abierto, con los datos fuente publicados.