素粒子物理学者は大型ハドロン衝突型加速器(LHC)で解析を行うたびに新しい機械学習モデルを作るのが普通で、それぞれ専用のシミュレーションで学習させ、一から検証しています。Nature Machine Intelligenceの査読付き論文で発表されたEVENETは、言語モデルやタンパク質モデルで成功した手法を試みます。大きなモデルを一度だけ学習させ、その後は多くのタスクに安価に適応させるという方法です。最大の成果は、シミュレーションだけでなく実際の検出器データでも機能したことです。
このモデルは、各衝突をジェット、電子、ミューオンなどの再構成された物体の順序のない集まりとして扱い、共通のtransformer基盤に通します。出力部分は交換可能で、反応過程の分類、粒子とその親粒子との対応づけ、粒子のグループ化、ニュートリノのような欠けた粒子の再構成を担います。事前学習は2段階で、生成された約30億件から選んだ約5億件のシミュレーション衝突を使いました。まずマスクされた粒子を埋めることを学び、次にラベル付きの物理的な目標を加えています。これにはスーパーコンピューターPerlmutterの512基のNvidia A100で、約10万GPU時間のオーダーを要しました。その後、個別タスクへの微調整は数GPU時間から数十GPU時間で済みます。
4つの試験で結果は一貫しています。仮説上の重い粒子の探索では、この分野の標準的な手法であるXGBoostより最良の信号感度を約20%、表形式データ向けの事前学習済みモデルTabPFNより約10%改善しました。ヒッグス粒子の特異な崩壊の探索では、基準学習データの5%だけで、専用モデルSPANetが150%のデータで出した最高値を上回りました。トップクォーク対の量子もつれの測定では、従来の基準値5.26%に対して3.33%の精度に達しました。最も説得力があるのは、CMS実験の2016年の公開データを使った試験です。既知の粒子であるウプシロン中間子を雑多な領域で探したところ、以前に発表された6.4シグマを上回る中央値7.6シグマの有意度で信号を見つけました。事前学習なしの版は1.5にとどまりました。
より大きな論点はコストです。高額な事前学習を一度だけ払い、多くの解析で再利用して回収するという取引は、汎用言語モデルを正当化するものと同じで、この論文は証拠の基準が厳しい分野でもそれが成り立つことを示しています。既知の粒子の再発見は発見ではなく健全性の確認ですが、シミュレーションで学習したモデルにとってはまさに適切な確認です。
著者は足りない点を率直に認めています。EVENETは、物理の結果に求められる厳密さで検出器や理論の不確かさをまだ追跡できず、出力部分どうしの整合も強制されておらず、シミュレーションと実データが大きく食い違う状況での負荷試験も行われていません。また事前学習データは簡略化した汎用検出器を使い、衝突の重なりを含んでいません。本当の試金石は、まさにそうした確認を求めるLHCの大規模共同研究グループに採用されるかどうかです。