Deep Learning ist in der frühen Wirkstoffforschung zum Standardwerkzeug für zwei Aufgaben geworden: vorherzusagen, wie ein kleines Molekül in der Bindetasche eines Proteins liegt, die sogenannte Posen-Generierung, und vorherzusagen, wie fest es bindet. Dutzende Bewertungsfunktionen beanspruchen inzwischen Spitzenergebnisse. In einer Perspective in Nature Machine Intelligence argumentieren Viet-Khoa Tran-Nguyen und Pedro Ballester, dass sich diese Behauptungen kaum noch vergleichen lassen, und legen Leitlinien für die Bewertung solcher Modelle vor.
Ihre Liste ist kurz und praktisch. Trainingsdaten, Code und Verfahren sollen offengelegt werden, damit andere die Arbeit reproduzieren, wiederverwenden und prüfen können. Studien sollen sich gegen Datenlecks schützen, bei denen Testmoleküle oder Proteine den Trainingsdaten zu sehr ähneln, gegen Stichprobenverzerrung und gegen fehlerhafte Versuchsanlagen. Vergleiche sollen gemeinsame Datenaufteilungen nutzen, prüfen, wie stark Ergebnisse von einem Trainingslauf zum nächsten schwanken, und geeignete Baselines enthalten, damit eine neue Methode auch an etwas Einfachem gemessen wird und nicht nur am neuesten Konkurrenten.
Der Aufsatz stützt sich auf Arbeiten, die das Problem bereits offengelegt haben. Ballesters Gruppe hat früher gezeigt, dass Scaffold-Splits, eine gängige Art, Trainings- und Testmoleküle zu trennen, die Leistung beim virtuellen Screening überschätzen, und ein Benchmark von 2026 namens NextTopDocker, an dem beide Forscher beteiligt sind, fand Schwächen beim durchgängigen Docking mit maschinellem Lernen und Stärken bei hybriden Ansätzen, die klassische Ergebnisse neu bewerten. Arbeiten zum Zufall in Vergleichen neuronaler Netze, die die Autoren ebenfalls zitieren, zeigen, dass ein einzelner Lauf eine Methode schönen oder begraben kann.
Wer ein Docking- oder Affinitätsmodell auswählt, kann die Leitlinien zugleich als Checkliste beim Lesen von Aufsätzen und Modellkarten nutzen. Eine Behauptung ohne gemeinsame Aufteilungen, wiederholte Läufe und einfache Baseline verdient weniger Gewicht, wie groß der gemeldete Gewinn auch sei.
Die Grenzen sind die jeder Perspective. Sie schlägt Normen vor, statt neue Ergebnisse vorzulegen, und wir konnten nur die Zusammenfassung und die Literaturliste lesen, nicht den vollständigen Text; wie sie einzelne Werkzeuge einordnet, können wir daher nicht berichten. Leitlinien hängen zudem von ihrer Durchsetzung ab: Solange Zeitschriften, Gutachter und Betreiber von Benchmarks diese Prüfungen nicht verlangen, bleibt der Anreiz, die schmeichelhafteste Zahl zu veröffentlichen.