입자물리학자들은 보통 대형 강입자 충돌기(LHC)에서 분석을 할 때마다 새 머신러닝 모델을 만들며, 각 모델을 맞춤형 시뮬레이션으로 학습시키고 처음부터 검증합니다. Nature Machine Intelligence에 동료 검토를 거쳐 실린 논문에서 소개된 EVENET은 언어 모델과 단백질 모델에서 효과를 본 방식을 시도합니다. 큰 모델 하나를 한 번 학습시킨 뒤 여러 작업에 저렴하게 맞춰 쓰는 방식입니다. 가장 중요한 결과는 이것이 시뮬레이션뿐 아니라 실제 검출기 데이터에서도 통한다는 점입니다.
이 모델은 각 충돌을 제트, 전자, 뮤온 같은 재구성된 객체들의 순서 없는 집합으로 보고, 교체 가능한 출력 헤드를 갖춘 공용 transformer 백본에 통과시킵니다. 출력 헤드는 반응 과정 분류, 입자와 그 입자가 나온 모입자의 연결, 입자 묶기, 중성미자처럼 빠진 입자의 재구성을 맡습니다. 사전 학습은 두 단계로 이루어졌고, 생성된 약 30억 건 중에서 고른 약 5억 건의 시뮬레이션 충돌을 썼습니다. 먼저 가려진 입자를 채우는 법을 배우고, 이어서 라벨이 붙은 물리 목표를 더했습니다. 여기에는 Perlmutter 슈퍼컴퓨터의 Nvidia A100 칩 512개로 약 10만 GPU 시간 규모가 들었습니다. 이후 개별 작업에 맞춘 미세 조정에는 몇 시간에서 수십 GPU 시간이 필요합니다.
네 가지 시험에서 결과는 일관됩니다. 가상의 무거운 입자 탐색에서는 이 분야의 표준 도구인 XGBoost보다 최고 신호 민감도를 약 20%, 표 형식 데이터용 사전 학습 모델인 TabPFN보다 약 10% 높였습니다. 힉스 보손의 특이 붕괴 탐색에서는 기준 학습 데이터의 5%만으로 전문 모델 SPANet이 150%를 써서 낸 최고 점수를 넘어섰습니다. 톱 쿼크 쌍의 양자 얽힘 측정에서는 기존 기준치 5.26%에 비해 3.33%의 정밀도를 달성했습니다. 가장 설득력 있는 시험은 CMS 실험의 2016년 공개 데이터를 사용한 것입니다. 이미 알려진 입자인 웁실론 중간자를 복잡한 영역에서 찾았을 때, 이전에 발표된 6.4 시그마보다 높은 중앙값 7.6 시그마의 유의도로 신호를 찾아냈습니다. 사전 학습 없이 학습한 버전은 1.5에 그쳤습니다.
더 큰 의미는 비용에 있습니다. 한 번 크게 치르는 사전 학습 비용을 여러 분석에 모델을 재사용해 회수하는 방식은 범용 언어 모델을 정당화하는 것과 같은 거래이며, 이 논문은 증거 기준이 엄격한 분야에서도 그 거래가 성립함을 보여 줍니다. 알려진 입자를 다시 찾은 것은 발견이 아니라 기본 점검이지만, 시뮬레이션으로 학습한 모델에는 딱 맞는 점검입니다.
저자들은 부족한 점을 솔직하게 밝힙니다. EVENET은 아직 물리 결과에 필요한 엄밀함으로 검출기 및 이론 불확도를 추적하지 못하고, 출력 헤드끼리 서로 일치하도록 강제되지 않으며, 시뮬레이션과 실제 데이터가 크게 어긋나는 상황에서의 스트레스 테스트도 거치지 않았습니다. 또한 사전 학습 데이터는 단순화한 범용 검출기를 썼고 겹치는 충돌은 포함하지 않았습니다. 진짜 시험대는 바로 그런 점검을 요구하는 LHC의 대형 공동 연구단이 이 모델을 채택하느냐입니다.