Pressemitteilung vom 24.09.2020

Wie Wissenschaft noch transparenter wird

Chemnitzer Informatik-Professorin Janet Siegmund zeigt neue Ansätze für Open Science – Auszeichnung mit „Distinguished Paper Award" auf einer der wichtigsten Softwaretechnik-Konferenzen

Eine Herausforderung der Wissenschaft, die im öffentlichen Bewusstsein kaum präsent ist und die Forscherinnen und Forscher vor eine große Herausforderung stellt, ist die sogenannte „Replikationskrise“. Das meint die Wiederholbarkeit und damit Transparenz von Methoden und Ergebnissen wissenschaftlicher Forschung. Ein Weg aus der Krise ist das sogenannte „Open-Science-Format“, in dem alle wesentlichen Elemente eines Forschungsprozesses offengelegt werden. Doch welche Elemente sind wesentliche für den Forschungsprozess? Und was bedeutet „Replizierbarkeit“ genau? Ist das überhaupt der richtige Begriff, wenn es um die Wiederholbarkeit und damit Überprüfbarkeit wissenschaftlicher Erkenntnisse geht?

Ausgehend von dieser Problemstellung legten Prof. Dr. Janet Siegmund, Inhaberin der Professur Software Engineering, sowie ihre Kollegen Prof. Dr. Ben Hermann, Vertretungsprofessor IT-Sicherheit an der Universität Paderborn, und Dr. Stefan Winter, Postdoc im Bereich Softwaresysteme an der TU Darmstadt, ein Paper zum Umgang mit der Replizierbarkeit von Erkenntnissen in der Informatik vor. Die Federführung des Projekts lag in Paderborn bei Dr. Hermann. Das Paper mit dem Titel „Community Expectations for Research Artifacts and Evaluation Processes“ wurde im Zuge der „ESEC/FSE 2020“, einer der wichtigsten internationalen Fachkonferenzen für Softwaretechnik, in einem hoch kompetitiven Verfahren mit einem ACM SIGSOFT Distinguished Paper Award ausgezeichnet. Von 360 Einreichungen akzeptierte das Programm-Komitee 101 Paper zur Veröffentlichung, eine kleine Anzahl davon erhielt letztlich die Auszeichnung. Dieser Preis wird von der Association for Computing Machinery (ACM) jährlich nur für die besten Paper eines Jahres vergeben.

Relevanz der Replizierbarkeit

„Replizierbarkeit ist unabdingbar für gute, erfolgreiche Wissenschaft. Dafür gibt es die Open-Science-Bewegung, um den Weg des Erkenntnisgewinns transparent und nachvollziehbar darzustellen“, verdeutlicht Prof. Janet Siegmund. Dazu sei es unter anderem notwendig, sogenannte „Artefakte“ bereitzustellen. Als Artefakte gelten zum Beispiel alle Daten, Skripte, Code-Beispiele oder Beweise, die erstellt oder erhoben werden, um zu einer Erkenntnis zu gelangen. „Es gibt aber keine einheitlichen Richtlinien, wie diese Artefakte aussehen sollen“, sagt Siegmund. So gebe es zwar auch das Bestreben, Artefakte bereitzustellen, um Open Science zu fördern und Replizierbarkeit sicher zu stellen, aber es sei aktuell nicht klar, wie. „Artefakt-Evaluierungs-Kommissionen sollen dazu beitragen, dass Artefakte lange verfügbar sind, also etwa auch mit einem Wechsel eines Forschers nicht verschwinden und Daten und Erkenntnisse immer überprüfbar bleiben“, fasst Siegmund zusammen. Um einen Ansatzpunkt für mögliche Standards für Evaluierungskommissionen zu entwickeln, verschickten Siegmund und ihre Kollegen einen Fragebogen per E-Mail.

Befragt wurden alle Mitglieder der Artefakt-Evaluierungs-Kommissionen von wichtigen Konferenzen und Journals in der Informatik – insgesamt mehr als 1000 Personen. Davon erhielt das Team mehr als 250 Bögen zurück. Eine sehr hohe Evidenzbasis, da der reguläre Rücklauf zwischen zehn und 20 Prozent liegt.

„Wir waren sehr überrascht von der hohen Anzahl an Rückmeldungen. Damit haben wir nicht gerechnet und es hat uns gezeigt, dass der Wissenschaftsgemeinschaft das Thema sehr am Herzen liegt“, erklärt Dr. Hermann.

Erwartung der Evaluierungs-Kommissionen

„In unserer Befragung haben wir herausgefunden, dass es verschiedene Erwartungen gibt, wie Artefakte aussehen sollen. Diese Erwartungen sind zum Teil sehr individuell und oft auch nur implizit vorhanden, also beispielsweise in den Köpfen der Mitglieder der Artefakt-Evaluierungs-Kommissionen, den Köpfen der Chairs der Kommissionen, den Köpfen der Autoren und weiterer Gruppen“, sagt Siegmund. Erschwerend komme hinzu, dass Begriffe wie „Replizierbarkeit“, „Replikation“, „Wiederverwendbarkeit“ unterschiedlich interpretiert werden. Das mache es schwieriger, einheitliche Richtlinien zu definieren. „Aber genau da müssen wir hin“, stellt Janet Siegmund fest. „Diese Richtlinien und Erwartungen müssen explizit und klar kommuniziert werden.“
„Auch müssen wir in der Informatik die Diskussion führen, mit welchem Ziel wir Artefakte veröffentlichen. Geht es nur darum die Transparenz zu erhöhen oder erwarten wir, dass andere Forschungsgruppen auf diesen Artefakten weiter aufbauen können? Hier gibt es aktuell noch kein einheitliches Meinungsbild, aber es verändert vieles bei der Erstellung und auch der Begutachtung von Artefakten“, erklärt Ben Hermann.

Als nächste Schritte will das Team nun einheitliche Qualitätskriterien entwickeln und evaluieren. Das kann zum Beispiel in Form von „Registered Reports Track“ geschehen, in denen Forscherinnen und Forscher einen Studienplan vor der eigentlichen Datensammlung veröffentlichen. In Anlehnung an die Open Science Foundation gehört dazu auch ein Protokoll, was mit den Artefakten passiert und wie sichergestellt wird, dass diese langfristig verfügbar und benutzbar bleiben. Diese und weitere Untersuchungen sollen dazu beitragen, die Forschung der Informatik dauerhaft transparenter und nachvollziehbarer zu machen.

Originalpublikation (Preprint): Community Expectations for Research Artifacts and Evaluation Processes (Additional Material) By Ben Hermann, Stefan Winter, Janet Siegmund. This repository contains the material used in and produced during the study Community Expectations for Research Artifacts and Evaluation Processes accepted at the ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering (ESEC/FSE) 2020: https://bhermann.github.io/artifact-survey/

Multimedia: Im Podcast TUCpersönlich (mytuc.org/tfnk) spricht Siegmund über dieses besondere Forschungsinteresse, wie sie den Wechsel zwischen Passau, ihrer vorherigen Wirkungsstätte, und Chemnitz (mytuc.org/bscp) erlebt und welche Erfahrungen sie im Ausland gemacht hat.

Weitere Informationen erteilt Prof. Dr. Janet Siegmund, Professur Software Engineering der TU Chemnitz, Tel. +49 371 531 34310, E-Mail janet.siegmund@....