Die statistische Übermacht oder: Eine Verteidigung der Theorie

In seinem Aufsatz zur Replikationskrise behauptet Aubrey Clayton, er habe einen großen Denkfehler aufgedeckt und sei damit einem Problem, vor dem die Wissenschaft steht, auf die Schliche gekommen.1 Doch er deckt das Problem nicht nur auf, als Mathematiker hat er auch eine Antwort parat: Bayes’ Statistik. Diese Antwort ist unzureichend, denn erstens ist diese Antwort der Wissenschaft selbst schon eingefallen, und zweitens wird der Satz von Bayes alleine die Replikationskrise nicht lösen.

(Der Text ist im Septemberheft 2020, Merkur # 856, erschienen.)

Ein wissenschaftliches Experiment kommt unter den gleichen Bedingungen zu den gleichen Ergebnissen – deshalb können wir (als Wissenschaftlerinnen) eine generalisierende Aussage treffen. Eine Replikationsstudie ist eine Studie, die genau das macht, nämlich versucht, ein bereits bestehendes Experiment unter den (vermeintlich) gleichen Bedingungen zu wiederholen, um im besten Fall auf das gleiche Ergebnis zu kommen – was nicht immer klappt. Durch das Wiederholen von Experimenten, das Replizieren, sind Selbstkorrekturen möglich. Studienergebnisse, die man nicht wiederholen kann, müssen als Zufallsergebnisse eingestuft und aussortiert werden. Replikationsstudien sollen, wie Clayton schreibt, »die stichhaltige Wissenschaft aus dem Rauschen herausfiltern«.

In den letzten Jahren hat man das vor allem in der Psychologie (sehr viel eher jedenfalls als in der Medizin oder gar den Wirtschaftswissenschaften) zunehmend ernst genommen und die Reproduzierbarkeit von Experimenten überprüft. Dabei ist man auf Zahlen gekommen,2 die an der Daseinsberechtigung ganzer Fächer zweifeln lassen, die für sich in Anspruch nehmen, empirische Wissenschaften zu sein: In der Psychologie konnten beispielsweise nur 36 Prozent, in der Krebsforschung sogar nur zwischen 11 und 21 Prozent reproduziert werden. In den Wirtschaftswissenschaften kamen bei der Re-Analyse desselben (!) Datensatzes nur die Hälfte der Re-Analysen zu denselben Ergebnissen.

Welche Konsequenzen das haben kann, zeigt der Fall des berühmten Reinhart /Rogoff-Papers zur Staatsverschuldung,3 das maßgeblich für die Begründung der Sparpolitik herangezogen und dessen Rechenfehler durch einen Doktoranden aufgedeckt wurde. Also ziemlich viel Rauschen, ziemlich wenig stichhaltige Wissenschaft – deswegen die Replikationskrise. Allein die experimentelle Philosophie gibt Hoffnung, hier konnten 76 Prozent der Studien repliziert werden.

(…)

 


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.