ニューラルネットワークを学習させたことがある人なら、この苛立ちを知っているでしょう。乱数のシードを固定し、データの順番を固定し、決定性を保つ設定をすべて有効にしても、結果は変わることがあります。以前の研究では、1つのパラメーターの1ビットを変えるだけで、通常のノイズ源をすべて合わせたのと同じくらいのばらつきが生じうることがわかっています。Nature Machine Intelligenceに掲載されたA. LyとP. Gongの論文は、力学系の理論から説明を示しており、精度を上げれば解決すると期待していた人にとっては安心できない内容です。
提案された仕組みは「穴だらけの吸引領域」です。考えうるすべての初期の重みの空間を、学習が最終的にどの解にたどり着くかで色分けしたところを想像してください。色がきれいな境界で分かれていれば、既知の点の近くから始めるほど結果は予測しやすくなります。しかし穴だらけの吸引領域では、ある解に向かう出発点のすぐそばに、別の解に向かう点が必ずあり、どこまで拡大してもそれが続きます。しかも混ざり合った領域は薄い境界ではなく、実際の体積を持っています。これは通常のカオスとは異なります。カオスでは時間とともに軌道が離れていきますが、この現象では、出発点の誤差がどれほど小さくても最終的な結果そのものが予測できません。
著者らは最小限のネットワークでこれを解析的に示し、ほぼゼロの不確実性指 数を導きました。つまり、初期化の精度を大きく上げても、予測しやすさはほとんど向上しません。続いて、VGG、ResNet、BERTといった構造、MNIST、CIFAR-10、IMDBのデータ、SGD、勾配降下法、AdamW、さまざまな正則化手法と活性化関数を組み合わせて約500,000のネットワークを学習させ、すべてで同じ特徴を見いだしました。さらに、この指標を重みからネットワークが学習した関数そのものに広げており、異なる重みが同じことをしているだけではないことを示しています。
実務での教訓は、結果の報告の仕方にかかわります。わずかな違いで学習が別の解に向かうのなら、1回の学習結果は逸話にすぎず、モデルや手法の比較では複数回の実行のばらつきを示すべきです。この研究は、実行ごとに消せないばらつきや、性能と再現性のトレードオフといった、別々に報告されてきた現象を共通に説明するものでもあります。
限界ははっきり述べられています。著者らはこの現象を、あらゆるネットワークについての証明ではなく、説明の候補となる原理と位置づけています。深層ネットワークでの根拠は、それと整合する特徴であって、完全な解析的導出ではありません。実験は比較的小さなベンチマークの課題を使っており、莫大な費用で一度だけ学習される今日の超大規模言語モデルにも同じ構図が当てはまるかは、ここでは示されていません。論文は査読済みのオープンアクセスで、元データも公開されています。