Replikationskrise

Ein Gedankenexperiment: Stell dir vor, du leidest unter einer Krankheit. Du besuchst eine wissenschaftliche Konferenz. Auf dieser wird ein neues Medikament vorgestellt, durch dessen Einnahme laut den Untersuchungen signifikante Verbesserungen verzeichnet werden sollen. Du gewinnst an Hoffnung. Einige Wochen später erfährst du von einer Studie zu demselben Medikament. Ein anderes Forschungsteam konnte die positive Wirkung nicht bestätigen, von der Behandlung wird abgeraten. Die Forschungsergebnisse widersprechen sich.

Was nun? Welcher Studie schenkst du Vertrauen? Zweifelst du an der Glaubwürdigkeit wissenschaftlicher Erkenntnisse? Und damit willkommen im zerreißenden Zwiespalt der Replikationskrise,
einer der drängendsten Thematiken der heutigen Wissenschaft.

Mit Forschung verbinden viele Menschen revolutionäre Theorien und bahnbrechende Erkenntnisse. Doch diese einst neu gewonnenen Einsichten müssen fortlaufend bestätigt werden, um als aktuell, verlässlich und wissenschaftlich relevant zu gelten.
Reproduzierbarkeit bezeichnet den Anspruch, die Ergebnisse einer Studie replizieren zu können. In anderen Worten bedeutet Reproduzierbarkeit, zu denselben Schlussfolgerungen zu gelangen, wenn man die Bedingungen der ursprünglichen Untersuchung nachstellt.

Historischer Hintergrund

Die Probleme der Reproduzierbarkeit wurden erstmals von John Ioannidis vor rund 20 Jahren
thematisiert. In seinem Artikel „Why Most Published Research Findings Are False” eröffnete er die
Diskussion rund um die falschen Forschungsansprüche der modernen Wissenschaft. Kritisch hinterfragt wird hierbei die Abhängigkeit von der statistischen Signifikanz. Die statistische Signifikanz wird als Kriterium für den Bedeutungswert der Forschung überschätzt und andere wichtige Maße werden dabei vernachlässigt.

Statistische Signifikanz: Damit ein Ergebnis statistisch bedeutsam ist, muss der empirische p-Wert ein Signifikanzniveau von 0.05 unterschritten werden. Das bedeutet, dass die Wahrscheinlichkeit, dass das beobachtete Ergebnis zufällig ist, weniger als 5% beträgt.

Diese Umstände haben zur Folge, dass die Verantwortlichen zum Teil bereit sind, ihre Studiendesign
und die Auswertung der Daten zu manipulieren, um das Ziel der statistischen Signifikanz zu erreichen. Verstärkt wird dies durch mögliche Interessenskonflikte, in denen verschiedene Ansprüche
und Bestrebungen miteinander konkurrieren. Dabei können die Konflikte privater, wirtschaftlicher,
politischer aber auch religiöser Natur sein.

Im Hinblick auf die Veröffentlichungswahrscheinlichkeit bemängelt John Ioannidis den Publikationsbias. Dieser besagt, dass vorrangig jene Untersuchungsergebnisse veröffentlicht werden, in denen statistisch signifikante Ergebnisse erreicht wurden. Kritisiert wird auch das selektive Berichten und Hervorheben jener Studien, in denen sich die Annahmen des Forschungsteams bestätigen. Dies trägt zu falschen Forschungsansprüchen bei und verzerrt das Bilder der Wissenschaft.

‍Ausmaß der Krise

Um der Frage nach der Reproduzierbarkeit nachzugehen, machte es sich ein Team von 270
Wissenschaftler:innen zur Aufgabe, verschiedene Studien zu replizieren. Das Ergebnis der Untersuchung war verblüffend. Im Rahmen des Projekts der Open Science Collaboration aus dem Jahr 2015 wurden insgesamt 100 Studien aus drei psychologischen Zeitschriften ausgewählt. Die Studien wurden unter gleichen Bedingungen wiederholt. Die Resultate der replizierten Studienergebnisse wurden mit den Originalstudien verglichen. Das Ergebnis der Gegenüberstellung: Während die Originalstudien zu 97% statistisch signifikante Ergebnisse lieferten, lieferten lediglich 36% der Replikationen statistisch bedeutsame Ergebnisse.

Dass du in diesem Ausmaß von den Miss-Erfolgen von Replikationsstudien lesen, ist in aller Wahrscheinlichkeit eine Seltenheit. Denn Replikationsstudien haben im Vergleich mit der Originalstudie eine deutlich geringere Chance veröffentlicht zu werden. Insbesondere, wenn die ursprünglichen Effekte nicht bestätigt werden können. Hinzu kommt, dass Autor:innen durch das Bekanntgeben von gescheiterten Replikationsversuche zum Teil negative Auswirkungen auf ihre Karriere befürchten. All das führt zu einer verminderten Offenheit und eingeschränkten Kommunikation in der Forschung und Publikation.

Richtigen Umgang finden

An dieser Stelle ist es jedoch wichtig anzumerken, dass ein einzelner gescheiterter Replikationsversuch nicht die gesamte Bedeutsamkeit der Originalstudie zunichtemacht. Der geleistete Arbeitsaufwand des ursprünglichen Untersuchungsteams darf nicht unter den Tisch gekehrt werden. Gleichermaßen wie das ursprüngliche Ergebnis fälschlicherweise positiv sein kann, kann auch der replizierte Effekt fälschlicherweise negativ sein kann. Die Ursachen dafür sind vielfältig. Beispielsweise sind teilweise die Methoden oder ursprünglichen Untersuchungsbedingungen nicht ausführlich genug dokumentiert oder können nicht exakt nachgestellt werden.

Demnach sind Replikationsstudien im selben Maße skeptisch zu hinterfragen wie die Ausgangsuntersuchungen. Mit einem kritischen Blick auf das Studiendesign und die erzielten Kennwerte, meisterst du den Umgang mit sämtlichen Studienergebnissen. So gelingt es, zwischen der Vielzahl an wissenschaftlichen Untersuchungen zu differenzieren. Dadurch kannst du vom Erkenntnisgewinn der modernen Wissenschaft und Forschung profitieren. Welche Merkmale in diesem Zusammenhang eine besonders wichtige Rolle spielen, wird am Ende des Eintrages genauer erklärt.

Aus der Krise lernen

Aus all dem geht hervor, dass sich wissenschaftlicher Erkenntnisgewinn auf eine Ansammlung mehrerer Studien und Befunde stützen muss. Konkret bedeutet dies, dass Replikationsstudien verstärkt gefördert und veröffentlicht werden müssen. Der hohe Stellenwert der Reproduzierbarkeit muss sowohl in der Forschung als auch in der Öffentlichkeit Anklang finden. Dabei ist es wichtig zu betonen, dass die Replikationskrise als Ansporn gesehen werden soll, die Standards der Forschung weiter zu verbessern. Die Diskussion zeigt, dass sich Wissenschaftler:innen kritisch mit den erbrachten Leistungen auseinandersetzen. Durch das Aufdecken und Korrigieren falscher oder veralteter Studienergebnisse arbeiten Forscher:innen aktiv daran, die Zuverlässigkeit wissenschaftlicher Erkenntnisse zu erhöhen. Metaanalysen und Replikationsstudien dienen dazu, die Beweiskraft der Wissenschaft zu erhöhen. Sie stellen nicht die Sinnhaftigkeit der Forschung in Frage, sondern tragen zur Steigerung des Informationsgehaltes bei.

Eine Metaanalyse umfasst mehrere Studien zu einem bestimmten Thema. Ziel ist es, mittels statistischer Methoden die einzelnen Ergebnisse zu analysieren und zusammenzufassen. So erhofft man sich aussagekräftigere Erkenntnisse.

Effektstärke und Stichprobe als entscheidende Merkmale

Doch woran ist schnell und einfach ersichtlich, ob die Ergebnisse einer Studie bedeutsam sind? Welcher Wert gibt Hinweise auf die mögliche Reproduzierbarkeit? Die zuvor vorgestellte Studie der Open Science Collaboration bietet einen einfachen, dadurch jedoch leicht anwendbaren Anhaltspunkt. Ein genauer Blick soll auf die Effektstärke geworfen werden.

Die Effektstärke beschreibt, wie groß der Zusammenhang zwischen den untersuchten Merkmalen ist. Sie gibt an, wie stark eine Variable den Wert einer anderen beeinflusst.

Die Erfolgswahrscheinlichkeit einer Replikationsuntersuchung kann also maßgeblich durch die Stärke des Effekts der Originalstudie vorhergesagt werden kann. Dabei ist dieses Maß aussage-kräftiger als die Erfahrung und Fachkenntnisse der Forschungsteams.

Zusätzlich sollte auch die Stichprobe unter die Lupe genommen werden. In diesem Zusammenhang ist der Stichprobenumfang von Bedeutung. Zu kleine Stichproben können die Effektstärke verzerren und unzuverlässige Ergebnisse liefern. Aber auch die Stichprobenauswahl ist wichtig. Die Stichprobe soll bezüglich der untersuchten Merkmale der Gesamtpopulation so ähnlich wie möglich sein.

Die Gesamtpopulation umfasst alle Menschen, über die man eine Aussage machen möchte.

Fazit

Durch einen kritischen Umgang mit den publizierten Studienergebnissen gelingt es, von der Vielfalt an Forschungsansätzen zu profitieren. Die Wissenschaft ist bemüht, die eigenen Standards zu verbessern und sich selbst zu korrigieren. Erkenntnisgewinn und Wissenszuwachs sind fortlaufende Prozesse!

Literatur