Wer neuronale Netze trainiert hat, kennt den Frust: Zufallsstartwert festlegen, Datenreihenfolge fixieren, jede Determinismus-Option einschalten, und das Ergebnis kann sich trotzdem ändern. Frühere Arbeiten fanden, dass das Umdrehen eines einzigen Bits in einem Parameter so viel Streuung erzeugen kann wie alle üblichen Rauschquellen zusammen. Ein Paper in Nature Machine Intelligence von A. Ly und P. Gong bietet eine Erklärung aus der Theorie dynamischer Systeme, und sie ist für alle, die auf mehr Präzision als Lösung gehofft hatten, nicht beruhigend.
Der vorgeschlagene Mechanismus heißt durchlöcherte Einzugsgebiete. Man stelle sich den Raum aller möglichen Startgewichte vor, eingefärbt danach, bei welcher Lösung das Training endet. Wären die Farben durch saubere Grenzen getrennt, würde ein Start näher an einem bekannten Punkt das Ergebnis vorhersagbarer machen. In einem durchlöcherten Gebiet liegt jeder Startpunkt, der zu einer Lösung führt, beliebig nah an Punkten, die zu einer anderen führen, in jeder Vergrößerungsstufe, und die gemischte Region hat echtes Volumen, statt nur eine dünne Grenze zu sein. Das unterscheidet sie von gewöhnlichem Chaos: Chaos lässt Bahnen mit der Zeit auseinanderlaufen, Durchlöcherung macht das Endergebnis selbst unvorhersagbar, wie klein der Startfehler auch ist.
Die Autoren zeigen das analytisch an einem minimalen Netz und leiten einen Unsicherheitsexponenten nahe null her; starke Steigerungen der Initialisierungsgenauigkeit bringen also kaum Gewinn an Vorhersagbarkeit. Anschließend trainierten sie rund 500.000 Netze mit VGG-, ResNet- und BERT-Architekturen, MNIST-, CIFAR-10- und IMDB-Daten, SGD, Gradientenabstieg und AdamW sowie verschiedenen Regularisierungsmethoden und Aktivierungsfunktionen und fanden durchgehend dieselben Signaturen. Sie übertragen das Maß zudem von den Gewichten auf die gelernten Funktionen, der Effekt besteht also nicht nur aus unterschiedlichen Gewichten, die dasselbe tun.
Für die Praxis betrifft die Lehre die Berichterstattung. Wenn winzige Änderungen das Training zu verschiedenen Lösungen führen können, ist ein einzelner Lauf eine Anekdote, und Vergleiche zwischen Modellen oder Methoden sollten die Streuung über mehrere Läufe zeigen. Zugleich liefert die Arbeit eine gemeinsame Erklärung für Muster, die bisher getrennt beschrieben wurden, etwa nicht reduzierbare Schwankungen zwischen Läufen und Zielkonflikte zwischen Leistung und Reproduzierbarkeit.
Die Grenzen werden klar benannt. Die Autoren nennen Durchlöcherung ein mögliches Ordnungsprinzip, keinen Beweis für jedes Netz, und die Belege für tiefe Netze sind damit vereinbare Signaturen, nicht die vollständige analytische Herleitung. Die Experimente nutzen vergleichsweise kleine Benchmark-Aufgaben; ob dasselbe Bild für die heutigen sehr großen Sprachmodelle gilt, die einmal zu enormen Kosten trainiert werden, zeigt die Arbeit nicht. Das Paper ist begutachtet und frei zugänglich, die Quelldaten sind veröffentlicht.