신경망을 학습시켜 본 사람 이라면 이 답답함을 압니다. 난수 시드를 고정하고, 데이터 순서를 고정하고, 결정성 옵션을 모두 켜도 결과가 바뀔 수 있습니다. 이전 연구에서는 파라미터 하나의 비트 하나만 바꿔도 일반적인 잡음원을 모두 합친 만큼의 편차가 생길 수 있다는 사실이 밝혀졌습니다. Nature Machine Intelligence에 실린 A. Ly와 P. Gong의 논문은 동역학계 이론에서 가져온 설명을 내놓는데, 정밀도를 높이면 문제가 풀릴 것이라 기대한 사람에게는 반갑지 않은 내용입니다.
제안된 메커니즘은 구멍 난 끌림 영역입니다. 가능한 모든 초기 가중치의 공간을, 학습이 결국 어느 해에 도달하는지에 따라 색칠했다고 상상해 보세요. 색이 깔끔한 경계로 나뉘어 있다면, 알려진 지점 가까이에서 시작할수록 결과를 예측하기 쉬워집니다. 하지만 구멍 난 영역에서는 한 해로 가는 모든 출발점이 다른 해로 가는 점과 임의로 가까이 있고, 어느 배율로 확대해도 마찬가지이며, 섞인 영역은 얇은 경계가 아니라 실제 부피를 가집니다. 이는 일반적인 카오스와 다릅니다. 카오스는 시간이 지나며 궤적이 벌어지게 만들지만, 이 현상은 출발점의 오차가 아무리 작아도 최종 결과 자체를 예측할 수 없게 만듭니다.
저자들은 최소한의 네트워크에서 이를 해석적으로 보이고, 0에 가까운 불확실성 지수를 도출했습니다. 초기화 정밀도를 크게 높여도 예측 가능성은 거의 나아지지 않는다는 뜻입니다. 이어 VGG, ResNet, BERT 구조, MNIST, CIFAR-10, IMDB 데이터, SGD, 경사 하강법, AdamW, 그리고 여러 정규화 방법과 활성화 함수를 아우르는 약 500,000개의 네트워크를 학습시켰고, 모든 경우에서 같은 특징을 발견했습니다. 또 이 지표를 가중치에서 네트워크가 배운 함수로 넓혀, 이 효과가 서로 다른 가중치가 같은 일을 하는 것에 그치지 않음을 보였습니다.
실무자에게 주는 교훈은 결과를 보고하는 방식에 관한 것입니다. 아주 작은 변화로도 학습이 다른 해로 갈 수 있다면 학습 한 번의 결과는 일화에 불과하며, 모델이나 방법 간 비교는 여러 번 실행한 결과의 분산을 보여 줘야 합니다. 이 연구는 실행마다 줄일 수 없는 편차, 성능과 재현성 사이의 상충 관계처럼 따로 보고돼 온 현상들에 공통된 설명도 제시합니다.
한계는 분명히 밝혀져 있습니다. 저자들은 이 현상을 모든 네트워크에 대한 증명이 아니라 후보 조직 원리라고 부르며, 심층 네트워크에서의 근거는 완전한 해석적 도출이 아니라 이와 맞아떨어지는 특징입니다. 실험은 비교적 작은 벤치마크 과제를 썼으며, 막대한 비용으로 단 한 번 학습되는 오늘날의 초대형 언어 모델에도 같은 그림이 적용되는지는 여기서 보여 주지 않습니다. 논문은 동료 심사를 거친 공개 접근 논문이며 원본 데이터도 공개돼 있습니다.