Begegnungszone: Statistical Physics and Machine Learning

Wissenschaftlicher Workshop in Kooperation mit dem MPI für Dynamik und Selbstorganisation erforscht aktuelle Entwicklungen an der Schnittstelle zwischen Statistischer Physik und Künstlicher Intelligenz

Vom 18. bis 21. September 2023 kamen für einen von der Joachim-Herz-Stiftung im Rahmen des Programms "Begegnungszonen" geförderten Workshop 35 Wissenschaftlerinnen und Wissenschaftler in Leipzig zusammen. Die Organisatoren, Prof. Dr. Martin Weigel von der Professur Simulation naturwissenschaftlicher Prozesse an der Fakultät für Naturwissenschaften und Dr. Johannes Zierenberg vom Max-Planck-Institut für Dynamik und Selbstorganisation in Göttingen, hatten hierzu hochkarätige Experten u.a. aus Italien, der Schweiz, den U.S.A., Israel, Indien, Frankreich, den Niederlanden, Polen und Finnland eingeladen, um die Forschung an der Schnittstelle zwischen statistischer Physik und künstlicher Intelligenz voranzutreiben, eine Forschungsagenda mit den drängendsten Problemen zu erarbeiten und neue Kooperationen in diesem interdisziplinären und dynamischen Feld zu etablieren.

Im Verlaufe des Workshops wurde die zweiseitige Natur der Wechselwirkung zwischen statistischer Physik und künstlicher Intelligenz klar herausgearbeitet: etwa die Hälfte der Beiträge nutzte Methoden der statistischen Physik, wie etwa die Abbildung auf klassische Spinmodelle und Ansätze der Molekularfeldtheorie, um der Black-Box-Natur der verbreiteten Modelle künstlicher Intelligenz entegegenzuwirken und zu einer Theorie des interpretierbaren maschinellen Lernens beizutragen. Die andere Hälfte der präsentierten Arbeiten befasste sich mit Anwendungen von Lernmodellen auf Systeme der statistischen Physik wie etwa der effizienten Repräsentation von quantenmechanischen Zuständen, der Nutzung von Methoden des maschinellen Lernens für Simulationen sowie der Verbindung zwischen künstlichen und natürlichen neuronalen Netzen.

Eine wichtige Beobachtung war die derzeitige Überfokussierug des Gebiets auf Lernsysteme, die auf künstlichen neuronalen Netzen basieren, während andere vielversprechende Ansätze wie etwa Spieltheorie und Informationsgeometrie weniger Aufmerksamkeit erhalten, aber möglicherweise ähnlich großes Potential versprechen. Hier sollen in Zukunft verstärkte Forschungsanstrengungen fokussiert werden. Die recht neue Netzwerkarchitektur der "Transformer", die den sog. "Large Language Models" wie etwa ChatGPT zugrundeliegt, erweist sich auch in ersten Anwendungsstudien in der Modellierung physikalischer Systeme als sehr expressiv. Hier sind in Zukunft weitere erfolgreiche Anwendungen zu erwarten. Wichtige Fortschritte wurden auch zum Verständnis des Trainings von neuronalen Netzen berichtet, etwa zur hierarchischen Struktur der Verfeinerung des repräsentierten Wissens und zur Natur des Trainings als Nichtgleichgewichtsprozess.

Gemäß dem Zuschnitt des Programms waren bei der Veranstaltung vor allem junge und mid-career Forscher:innen vertreten. Neben klassischen Impulsvorträgen und einer Postersitzung mit Berichten ueber die jüngsten Entwicklungen lag ein Schwerpunkt auf interaktiven und Diskussions-Formaten wie etwa Brainstorming Sessions und Projektdiskussionen in Kleingruppen. Als Ergebnis dieser Interaktionen wurde eine Reihe neuer Kooperationen zwischen den Teilnehmenden initiiert.

In der Professur Simulation naturwissenschaftlicher Prozesse liegt der Schwerpunkt der aktuellen und derzeit geplanten Arbeiten auf der Nutzung neuronaler Netze zur Simulation von Systemen der kondensierten Materie, die das Studium von bisher unzugänglichen Systemen mit komplexen multistabilen Strukturen wie etwa höhere Biomoleküle oder glasbildende Systeme versprechen, sowie auf der Untersuchung des Verhaltens von Systemen der künstlichen Intelligenz bei der Untersuchung von Systemen mit Phasenübergaengen.

Der Workshop wurde von den Teilnehmenden als sehr produktives Format wahrgenommen. Eine Nachfolgeveranstaltung ist für 2024 in Mailand geplant. Der Workshop hat nicht nur dazu beigetragen, die Forschungsgrenzen zwischen Statistischer Physik und Künstlicher Intelligenz zu erweitern, sondern auch neue Wege für die zukünftige Zusammenarbeit zwischen diesen Disziplinen aufgezeigt.