Teilchenphysiker bauen für jede Analyse am Large Hadron Collider meist ein neues Machine-Learning-Modell, trainiert auf eigens erzeugten Simulationen und von Grund auf geprüft. EVENET, vorgestellt in einem begutachteten Aufsatz in Nature Machine Intelligence, versucht den Ansatz, der bei Sprach- und Proteinmodellen funktioniert hat: ein großes Modell einmal trainieren und es dann günstig an viele Aufgaben anpassen. Das wichtigste Ergebnis ist, dass dies auch mit echten Detektordaten funktioniert, nicht nur mit Simulationen.
Das Modell behandelt jede Kollision als ungeordnete Wolke rekonstruierter Objekte wie Jets, Elektronen und Myonen und schickt sie durch ein gemeinsames Transformer-Grundgerüst mit austauschbaren Ausgabeköpfen: zum Klassifizieren des Prozesses, zum Zuordnen von Teilchen zu ihren Mutterteilchen, zum Gruppieren und zum Rekonstruieren fehlender Teilchen wie Neutrinos. Vortrainiert wurde es in zwei Stufen auf etwa 500 Millionen simulierten Kollisionen, ausgewählt aus rund 3 Milliarden erzeugten: zuerst durch das Ergänzen maskierter Teilchen, dann zusätzlich mit beschrifteten physikalischen Zielen. Das kostete in der Größenordnung von 100.000 GPU-Stunden auf 512 Nvidia-A100-Chips des Supercomputers Perlmutter. Das Feintuning für eine einzelne Aufgabe braucht danach einige bis einige Dutzend GPU-Stunden.
Die Ergebnisse sind über vier Tests hinweg stimmig. Bei der Suche nach einem hypothetischen schweren Teilchen verbesserte es die beste Signalempfindlichkeit um etwa 20% gegenüber XGBoost, einem Standardwerkzeug des Fachs, und um etwa 10% gegenüber TabPFN, einem vortrainierten Modell für Tabellendaten. Bei der Suche nach exotischen Zerfällen des Higgs-Bosons übertraf es mit 5% des Referenz-Trainingsdatensatzes den besten Wert, den das spezialisierte Modell SPANet mit 150% erreichte. Bei einer Messung der Quantenverschränkung in Top-Quark-Paaren erreichte es eine Präzision von 3,33% gegenüber einem früheren Referenzwert von 5,26%. Am überzeugendsten ist ein Test mit offenen Daten des CMS-Experiments von 2016: Bei der Suche nach dem bekannten Upsilon-Meson in einem unübersichtlichen Bereich fand es das Signal mit einer medianen Signifikanz von 7,6 Sigma, über den zuvor veröffentlichten 6,4 Sigma. Eine Version ohne Vortraining kam auf 1,5.
Der größere Punkt sind die Kosten. Eine hohe einmalige Rechnung für das Vortraining, die sich durch Wiederverwendung über viele Analysen amortisiert, ist derselbe Handel, der allgemeine Sprachmodelle rechtfertigt, und der Aufsatz zeigt, dass er auch in einem Fach mit strengen Beweisstandards aufgeht. Ein bekanntes Teilchen wiederzufinden ist eine Plausibilitätsprüfung, keine Entdeckung, aber genau die richtige Prüfung für ein auf Simulationen trainiertes Modell.
Die Autoren benennen offen, was fehlt. EVENET erfasst Detektor- und Theorieunsicherheiten noch nicht so streng, wie ein physikalisches Ergebnis es verlangt, seine Ausgabeköpfe müssen nicht miteinander übereinstimmen, und es wurde nicht dort unter Belastung getestet, wo Simulation und echte Daten stark voneinander abweichen. Die Vortrainingsdaten nutzten zudem einen vereinfachten generischen Detektor und keine überlagerten Kollisionen. Der eigentliche Test wird die Übernahme durch die großen LHC-Kollaborationen sein, die genau diese Prüfungen verlangen.