Quiconque a entraîné des réseaux de neurones connaît cette frustration : on fixe la graine aléatoire, l'ordre des données, on active toutes les options de déterminisme, et le résultat peut encore changer. Des travaux antérieurs ont montré que modifier un seul bit d'un paramètre peut produire autant de variabilité que toutes les sources de bruit habituelles réunies. Un article de Nature Machine Intelligence signé A. Ly et P. Gong propose une explication tirée de la théorie des systèmes dynamiques, et elle n'a rien de rassurant pour qui espérait qu'un surcroît de précision réglerait le problème.
Le mécanisme proposé est celui des bassins criblés. Imaginez l'espace de tous les poids de départ possibles, coloré selon la solution à laquelle aboutit l'entraînement. Si les couleurs étaient séparées par des frontières nettes, partir plus près d'un point connu rendrait le résultat plus prévisible. Dans un bassin criblé, chaque point de départ menant à une solution se trouve arbitrairement près de points menant à une autre, à toutes les échelles de grossissement, et la région mélangée a un vrai volume au lieu d'être une mince frontière. Cela la distingue du chaos ordinaire : le chaos fait diverger les trajectoires avec le temps, alors que le criblage rend imprévisible l'issue elle-même, aussi petite que soit l'erreur de départ.
Les auteurs le démontrent analytiquement sur un réseau minimal et en tirent un exposant d'incertitude proche de zéro : de fortes hausses de la précision d'initialisation n'apportent presque aucun gain de prévisibilité. Ils ont ensuite entraîné environ 500 000 réseaux couvrant les architectures VGG, ResNet et BERT, les données MNIST, CIFAR-10 et IMDB, SGD, la descente de gradient et AdamW, ainsi que diverses méthodes de régularisation et fonctions d'activation, et ont retrouvé les mêmes signatures partout. Ils étendent la mesure des poids aux fonctions apprises par les réseaux : l'effet ne se limite donc pas à des poids différents qui font la même chose.
Pour les praticiens, la leçon porte sur la manière de rendre compte des résultats. Si d'infimes changements peuvent mener l'entraînement à des solutions différentes, une exécution unique n'est qu'une anecdote, et les comparaisons entre modèles ou méthodes devraient montrer la dispersion sur plusieurs exécutions. L'article offre aussi une explication commune à des phénomènes décrits séparément, comme la variabilité irréductible d'une exécution à l'autre et les compromis entre performance et reproductibilité.
Les limites sont clairement posées. Les auteurs présentent le criblage comme un principe organisateur candidat, pas comme une preuve valable pour tous les réseaux, et les éléments sur les réseaux profonds sont des signatures compatibles avec lui, non la démonstration analytique complète. Les expériences portent sur des tâches de benchmark relativement modestes ; rien ne montre ici que le même tableau vaut pour les très grands modèles de langage actuels, entraînés une seule fois à un coût énorme. L'article est relu par des pairs et en libre accès, avec ses données sources publiées.