Psychologie-Studien liefern verzerrtes Bild der Wirklichkeit
Meta-Untersuchung der TU Chemnitz zeigt, dass bisherige Konventionen zur Interpretation empirischer Studien in den Sozialwissenschaften kaum aussagekräftig sind
-
Prof. Dr. Thomas Schäfer, zur Zeit der Untersuchung wissenschaftlicher Mitarbeiter an der TU Chemnitz, fand heraus, dass Psychologie-Studien ein verzerrtes Bild der Wirklichkeit liefern. Foto: privat
Wie bedeutsam sind gefundene Effekte in empirischen Studien der Psychologie? Um diese Frage zu klären, entwickelte der Statistiker Jacob Cohen in den 1960er Jahren erstmals Konventionen. Diese besagen, dass etwa eine Korrelation zwischen zwei Merkmalen von „.1“ einen kleinen und eine von „.5“ einen großen Zusammenhang bezeichnet.
Sozialwissenschaftliche Disziplinen wie die Psychologie verwenden diese Konvention seitdem, um ihre empirischen Ergebnisse zu interpretieren. So entspricht etwa der durchschnittliche Effekt von Psychotherapie – gegenüber unbehandelter Kontrollgruppen – einer Korrelation von etwa „.3“, was laut der Konventionen von Cohen als mittelgroßer Effekt gilt. Ob diese Konventionen aber tatsächlich der Verteilung der realen empirischen Effekte entsprechen, wurde nicht systematisch untersucht – bis jetzt.
Die Ergebnisse dieser umfassenden Studie lassen mögliche Rückschlüsse auf bisher in Studien belegte Erkenntnisse aus den Sozialwissenschaften zu. So ist zu vermuten, dass beispielsweise die Effekte psychotherapeutischer Methoden geringer sein könnten, als angenommen. Die Forscher plädieren daher dafür: „Die bisher publizierten Effekte scheinen die wahren Effekte in der Grundgesamtheit deutlich zu überschätzen. Die Konventionen, die bisher für die grobe Einschätzung über die Größe eines empirisch gefundenen Effektes in der Psychologie benutzt wurden, sind aktuell so nicht brauchbar und sollten in den nächsten Jahren angepasst werden“, plädiert Prof. Dr. Thomas Schäfer, zur Zeit der Untersuchung wissenschaftlicher Mitarbeiter an der Professur Forschungsmethodik und Evaluation der Technischen Universität Chemnitz. Weitere detaillierte Untersuchungen an konkreten Fällen seien dafür nötig.
Effekte weit größer als bisher bekannt
In einer Metastudie konnten Schäfer und Dr. Marcus Schwarz, zur Zeit der Verfassung der Studie Wissenschaftlicher Mitarbeiter an der Professur Forschungsmethodik und Evaluation der Technischen Universität Chemnitz, zweierlei zeigen: Zum einen scheinen die bisher in der Psychologie publizierten Effekte in etwa doppelt so groß zu sein wie die wahren Effekte in der Population. Das macht folglich den Vergleich eines aktuellen Forschungsergebnisses mit bisherigen Ergebnissen sehr schwierig. Gründe für diese drastische Verzerrung der publizierten Effekte sind einmal der sogenannte „Publication Bias“. Damit ist gemeint, dass nur große oder signifikante Effekte publiziert werden, weil sie etwa spektakulär sind und sich daher gut vermarkten lassen. Ein weiterer Grund sind sogenannte „fragwürdige Forschungspraktiken“, zum Beispiel das gezielte Berichten von großen und das Unterschlagen von kleinen Effekten in Studien mit mehreren Fragestellungen.
Zum anderen unterscheiden sich die Verteilungen der Effekte zwischen den einzelnen Fachbereichen der Psychologie sehr stark, sodass etwa die Biologische Psychologie mit durchschnittlich wesentlich größeren Effekte hantiert als die Sozialpsychologie. „Wir sollen daher beim Interpretieren von Studienergebnissen auf die Konventionen nach Cohen verzichten, da diese nicht allgemeingültig sein können“, folgert Schäfer aus den Ergebnissen.
Kleine und große Effekte deutlich über empfohlenen Konventionen
Zu Beginn ihrer Untersuchung unterteilten die beiden Forscher die Disziplin „Psychologie“ in neun Fachbereiche wie die „Experimentelle Psychologie“, die „Sozialpsychologie“ und weitere. Für jeden dieser Fachbereiche suchte das Team zehn zufällige Fachzeitschriften aus. Aus jeder dieser Fachzeitschriften zogen sie schließlich zufällig und über alle Jahrgänge und Ausgaben hinweg zehn Fachartikel. Aus diesen 900 Artikeln wurden die „Effekte“ extrahiert. Das sind meistens Merkmalsunterschiede zwischen Gruppen oder die Korrelation zweier Merkmale bei einer Stichprobe von Personen. Die Merkmalsunterschiede und die Korrelationen rechneten die Wissenschaftler in standardisierte Effektgrößen um, um sie über alle Arten von Studien hinweg vergleichen zu können.
„In der Auswertung der Daten zeigte sich zunächst, dass die Mitte der Verteilung dieser Effekte relativ gut die vorgeschlagenen Konventionen trifft, die kleinen und großen Effekte aber deutlich über den empfohlenen Konventionen lagen“, resümiert Schäfer.
Neue Praxis des „Präregistrierens“ soll Verzerrungen mindern
Im weiteren Verlauf der Studie werteten die beiden Forscher nun zusätzlich knapp 100 Fachartikel aus, die in jüngerer Vergangenheit mit einer so genannten „Präregistrierung“ publiziert wurden. Präregistrierung bedeutet, dass die Idee einer Studie und die für die Ergebnisse grundlegende Methodik, zum Beispiel das Sammeln und Auswerten von Daten, für eine bestimmte wissenschaftliche Fragestellung nicht wie sonst üblich am Ende einer Studie, sondern bereits vor dem Sammeln der Daten online registriert und teilweise auch schon in einem Peer-Review-Verfahren akzeptiert wird. Dies soll ein gezieltes Nicht-Publizieren kleiner oder nicht-signifikanter Effekte oder ein gezieltes Suchen nach signifikanten Effekten durch statistisches „Herumprobieren“ verhindern und somit ein eher unverzerrtes Bild der wahren Effekte liefern.
Die Praktik der Präregistrierung ist als Reaktion auf die sogenannte „Replikationskrise“ in der Psychologie entstanden: „Damit ist die Beobachtung gemeint, dass sich viele bekannte Effekte der Psychologie in gleichen, nachfolgenden Studien nicht wiederfinden lassen, wie ein groß angelegtes Projekt im Jahr 2015 gezeigt hat“, so Schäfer. Ein bekanntes Beispiel sei der „Priming-Effekt“. Dieser Effekt beschreibt, dass bestimmte subtile Reize wie das Lesen von Wörtern wie „alt“ oder „Rentner“ auch unbewusst das menschliche Verhalten deutlich beeinflussen können, zum Beispiel in Form einer signifikant verminderten Gehgeschwindigkeit.
„Solche Effekte sind sehr prominent, weil sie aufsehenerregend sind. Die Effekte wurden in Folgeuntersuchungen aber oft nur einige wenige Male, oft auch nur ein einziges Mal gefunden“, macht Schäfer deutlich. Zahllose Versuche, diese Effekte in Folgestudien zu replizieren, hätten die zuvor beschriebenen Effekte nicht gefunden – seien aber auch nicht publiziert worden. Durch diesen „Publication Bias“ fehle also das nötige Korrektiv. „Es besteht ein nicht zu unterschätzendes Risiko, dass die Psychologie-Lehrbücher recht viele Zufallsbefunde beinhalten, die gar keine Substanz haben.“
Präregistrierung wirkt – Bringt aber kleinere Effekte
Die Forscher vermuteten: Wenn bisher vorrangig große beziehungsweise signifikante Effekte publiziert wurden, dann sollten die durchschnittlichen Effekte bei präregistrierten Studien kleiner ausfallen. „Genau das war das Ergebnis, das sich beim direkten Vergleich der ursprünglichen 900 Effekte mit den zusätzlichen 100 Effekten zeigte“, sagt Schäfer. Die durchschnittlichen Effekte seien bei präregistrierten Studien nur noch halb so groß: „Die in der Vergangenheit publizierten empirischen Effekte sind demnach deutlich in Richtung zu großer Effekte verzerrt“, sagt Thomas Schäfer. Sieht man sich nun die Verteilung der Effekte der präregistrierten Studien an, wird zudem deutlich, dass diese deutlich kleiner sind als die vorgeschlagenen Konventionen.
Ein weiteres Ergebnis war, dass sich die Effekte deutlich zwischen den verschiedenen Fachbereichen unterschieden haben: Effekte in der Biologischen Psychologie etwa waren deutlich größer als Effekte in der Sozialpsychologie. „Das liegt vor allem daran, dass biopsychologische Messungen (wie EKG oder die Hautleitfähigkeit) wesentlich genauer sind und sich in Experimenten besser isolieren lassen als Messungen des sozialen Erlebens und Verhaltens, die oft mit weniger verlässlichen Methoden wie etwa Fragebögen durchgeführt werden müssen. Dieses Ergebnis sollte uns dazu veranlassen generell auf Konventionen zu verzichten, da diese nicht allgemeingültig sein können.
Veröffentlichung: Schäfer, T., & Schwarz, M. (2019). The meaningfulness of effect sizes in psychological research: Differences between sub-disciplines and the impact of potential biases. Frontiers in Psychology, 10:813. doi: 10.3389/fpsyg.2019.00813
Weitere Informationen erteilt: Prof. Dr. Thomas Schäfer, Professur für Quantitative Forschungsmethoden an der MSB Medical School Berlin, Tel. +49 (0)30/7668375-706, E-Mail thomas.schaefer@medicalschool-berlin.de
Matthias Fejes
08.05.2019
