Eine neue, internationale Studie, an der auch Wissenschaftler der Universität Erfurt beteiligt waren, hat die Replizierbarkeit, also die Wiederholbarkeit empirischer psychologischer Befunde untersucht. Sie ist jetzt unter dem Titel „Estimating the reproducibility of psychological science“ („Eine Schätzung der Reproduzierbarkeit psychologischer Forschung“) im „Science Magazine“ erschienen.

Rund vier Jahre hat das Projekt in Anspruch genommen, weltweit waren insgesamt 270 Wissenschaftler beteiligt. „Für die groß angelegte Untersuchung wurden 100 Studien aus drei renommierten psychologischen Fach-Journalen unabhängig und möglichst exakt wiederholt. Alle Original-Studien sind im Jahr 2008 erschienen“, erklärt Dr. Frank Renkewitz, Akademischer Rat am Lehrstuhl für Sozial-, Organisations-, und Wirtschaftspsychologie der Universität Erfurt, die Ausgangsbasis der Studie, an der er gemeinsam mit Dr. Stephanie Müller, Postdoktorandin im Fachgebiet Psychologie, mitgewirkt hat. Gemeinsam haben sie drei der 100 Replikationen bearbeitet und durchgeführt.

Das Ziel der Studie bestand darin, die Replizierbarkeit psychologischer Forschungsbefunde zu untersuchen. Diese Wiederholbarkeit ist ein grundlegendes Erfordernis für jede empirische Wissenschaft. „Wenn ein Versuch von anderen Wissenschaftlern unabhängig, aber möglichst exakt wiederholt wird, sollte dies natürlich zu denselben Ergebnissen führen. Die Hauptfrage unseres Projekts war, wie häufig dies bei neueren psychologischen Befunden tatsächlich der Fall ist“, berichtet Dr. Frank Renkewitz. Die Wissenschaftler sind zudem der Frage nachgegangen, inwieweit sich mit Hilfe von Merkmalen der Original-Studien vorhersagen lässt, ob ihre Befunde wiederholbar sind. Das zentrale Ergebnis der neuen Studie ist, dass – unabhängig von spezifischen Analysemethoden oder Erfolgskriterien für eine Wiederholung – der ursprüngliche Befund in weniger als der Hälfte der Studien erneut beobachtet wurde. Die Replikationsrate lag also unter 50 Prozent. Das heißt, dass mehr als die Hälfte der betreffenden Forschung Ergebnisse bringt, die nicht belastbar sind.

Da Renkewitz bereits vor der Studie zu Replikationsproblemen geforscht und gearbeitet hat, war er sehr motiviert, sich an den Untersuchungen zu beteiligen: „Ich halte fehlende Replizierbarkeit und ihre Ursachen für eines der zentralen Probleme in weiten Bereichen des Wissenschaftsbetriebs. Die nun vorliegende Untersuchung ist die bislang größte systematische Untersuchung von Replizierbarkeit in allen Wissenschaftsdisziplinen. Ziel sollte es nun sein, die Forschungspraxis so zu ändern, dass die Replikationsrate wieder steigt. Hier gibt es bereits entsprechende Bemühungen, beispielsweise die veränderten Veröffentlichungsrichtlinien von ‚Psychological Science‘, einem sehr einflussreichen Fach-Journal, oder die Bemühungen, Daten aus Originalstudien allgemein öffentlich zugänglich zu machen. Meine Hoffnung ist, dass unsere Ergebnisse dazu beitragen, diesen Prozess zu beschleunigen.“