Chapter Content
Ja, hallo erstmal, äh, ich wollte euch heute mal so'n bisschen... über so'n Kapitel erzählen, was mich echt beschäftigt hat, ne? Und zwar geht's darum, warum es eigentlich... verrückt klingt's ja, ne?...warum es einfacher ist, Raketenwissenschaft zu betreiben, als die menschliche Gesellschaft zu verstehen. Stell dir mal vor, du bist König oder Königin, sitzt da in deinem Palast und lädst so Wahrsager ein, die dir ihre Weisheiten erzählen sollen. So, und dann kommen da zwei Orakel an. Beide behaupten, sie hätten so'n Spezialwissen über die Zukunft. Die eine sagt, sie kann 'nen Trend vorhersagen, der in sechs Monaten passieren wird. Und dann kniet die andere vor dir und sagt, sie kann mit absoluter Sicherheit... ein Ereignis vorhersagen, das an einem Samstag stattfinden wird, irgendwann, weit in der Zukunft. Wem würdest du denn mehr vertrauen?
Klar, man denkt erstmal, die kürzere Zeitspanne ist sicherer. In so vielen Jahren kann sich ja alles ändern. Aber es kommt halt drauf an, was die beiden da vorhersagen, welche Art von Unsicherheit die da eigentlich zähmen wollen, ne? Also, wenn ich dir jetzt sage, die erste Vorhersage ist, dass das Wirtschaftswachstum in Amerika in sechs Monaten über drei Prozent liegen wird... während die zweite Vorhersage ist, dass es 'ne totale Sonnenfinsternis geben wird, an diesem Samstag... dann würde ich eher auf die Sonnenfinsternis wetten, aber ganz sicher nicht auf das Wirtschaftswachstum.
Wir sagen ja oft so "Ist doch keine Raketenwissenschaft". Aber, und jetzt kommt's, ich versuche euch mal davon zu überzeugen - ich weiß, klingt erstmal total bescheuert - aber es wäre eigentlich sinnvoller zu sagen "Ist doch keine Sozialwissenschaft", wenn man 'n echt schweres Problem hat. Genies arbeiten an beiden Arten von Problemen, klar. Aber Raketenwissenschaftler würden dir wahrscheinlich sagen, dass das relativ stabile Verhalten von Planeten und Monden vorherzusagen, das ist 'n Kinderspiel, verglichen mit dem Versuch, langfristige, korrekte Vorhersagen innerhalb dieser... komplexen Systeme von Milliarden miteinander verbundenen Menschen zu machen.
Trotzdem, ein Großteil unserer Welt ist halt geprägt von unserem fehlerhaften Verständnis davon, wie die Menschheit so tickt. Wir verteilen Budgets, legen Steuersätze fest, basierend auf Wirtschaftsprognosen, die selten länger als 'n paar Monate wirklich stimmen. Wir ziehen in den Krieg oder eben nicht, basierend auf subjektiven Risikoeinschätzungen, die sich dann als katastrophal falsch herausstellen. Und Unternehmen investieren manchmal Milliarden, basierend auf spekulativen Vorhersagen von Trends.
Wir haben ja jetzt schon gesehen, dass die Welt anders funktioniert, als wir uns das so vorstellen, ne? Und dieses falsche Bild von der Realität, das hält sich hartnäckig, weil es uns in fehlerhaften sozialwissenschaftlichen Forschungen immer wieder gespiegelt wird. Die meisten unserer modernen Orakel in der Wirtschaft, der Politikwissenschaft, der Soziologie, die verfestigen eigentlich nur unsere Bilderbuchversion von der Realität. Diese... sauberen Mythen, die die ganzen Zufälle des Lebens einfach als "Rauschen" abtun. Unser Verständnis von uns selbst, das basiert oft auf der falschen Annahme, dass regelmäßige, lineare Muster von Ursache und Wirkung über Zeit und Raum hinweg stabil sind. Unsere Suche nach Verständnis ist so'ne "Verursacht X eigentlich Y?"-Suche, die systematisch die Rolle des Zufalls und der Komplexität runterspielt. Aber wenn diese Bilderbuchversion der Realität, die in den meisten Forschungen verwendet wird, so irreführend ist, wie können wir die Realität dann so darstellen, dass sie die zufälligen Ereignisse erfasst und sie als Triebkräfte des Wandels ernst nimmt?
"Alle Modelle sind falsch, aber manche sind nützlich", hat mal so'n Statistiker gesagt. Und wir haben das aber viel zu oft vergessen, ne? Wir verwechseln die Karte mit dem Gebiet und bilden uns fälschlicherweise ein, dass unsere simplen Darstellungen der Welt diese auch akkurat abbilden. Wie oft hast du irgendeine Version von "Neue Prognose sagt" oder "Jüngste Studie hat herausgefunden, dass..." gelesen und das einfach so hingenommen, ohne die zugrunde liegenden Annahmen oder Methoden zu hinterfragen? Soziale Forschung ist eigentlich unser bestes Werkzeug, um in dieser unsicheren Welt zurechtzukommen. Und sie ist oft auch total hilfreich. Aber wenn wir kostspielige, manchmal sogar katastrophale Fehler vermeiden wollen, dann brauchen wir ein genaueres Verständnis dafür, was wir über uns selbst verstehen können - und was eben nicht - wenn wir uns in dieser komplexen Welt bewegen, die so von Zufällen, von Willkür und von Unvorhergesehenem beeinflusst wird. Es ist Zeit, ehrlich darüber zu sein, wie wenig wir wirklich sicher wissen. Wir müssen mal so 'n bisschen in die Welt der sozialwissenschaftlichen Forschung eintauchen und gucken, wie die Wurst eigentlich gemacht wird.
Wir können dieses Problem in zwei Teile zerlegen, und ich nenne das mal so: das einfache Problem der sozialwissenschaftlichen Forschung und das schwere Problem der sozialwissenschaftlichen Forschung. Das einfache Problem, das kommt von fehlerhaften Methoden. Das kann man - und sollte man - lösen. Das ist fixbar. Im Gegensatz dazu ist das schwere Problem wahrscheinlich unlösbar, weil es eben nicht von menschlichen Fehlern oder schlechter Methodik kommt, sondern weil einige Formen der Unsicherheit, die mit menschlichem Verhalten verbunden sind, einfach absolut und unauflöslich sind.
Gucken wir uns mal an, was einfach ist - und was schwer ist, ne?
Vor ein paar Jahren hat ein bekannter Sozialpsychologe sich gedacht, er testet mal, ob es sowas wie Präkognition oder außersinnliche Wahrnehmung wirklich gibt. Das war kein Spinner, ne? Der hatte Physik studiert, promoviert und an Top-Unis unterrichtet. Mit 'ner ganz normalen Forschungsmethode hat der dann 'ne Reihe von Experimenten durchgeführt. In einem Experiment wurden den Teilnehmern zwei Vorhänge auf einem Bildschirm gezeigt und sie mussten raten, hinter welchem Vorhang sich 'n erotisches Bild verbarg. Und, unglaublich, die Teilnehmer haben öfter richtig geraten, als es durch reinen Zufall zu erwarten gewesen wäre. Noch unglaublicher: Ihre Vorhersagefähigkeiten verschwanden, wenn die Fotos hinter den Vorhängen nicht erotisch waren. Diese Ergebnisse wurden mit Standardmethoden der statistischen Signifikanz überprüft.
Der hatte keine überzeugende Erklärung für diese scheinbar übernatürliche Fähigkeit (auch keine plausible Theorie, warum die Teilnehmer Wunder wie besser darin waren, sexy Bilder vorherzusagen als nicht-sexy Bilder). Aber als er die Zahlen auswertete, bestätigte er seinen Verdacht: Manche Leute können, wie der Titel seines Artikels schon sagt, "die Zukunft fühlen". Die Forschungsergebnisse wurden dann durch den normalen Peer-Review-Prozess geschleust und in einem der Top-Fachzeitschriften veröffentlicht. Das hat eingeschlagen wie 'ne Bombe. Die Presse hat sich drauf gestürzt und der hat sich gefreut und ist in Fernsehshows aufgetreten.
Aber nicht jeder war überzeugt, ne? Forscher haben dann versucht, die Ergebnisse unabhängig zu replizieren. Als sie die gleichen Experimente durchführten, konnte niemand in ihren Studien "die Zukunft fühlen". Das war dann schon 'n starker Beweis dafür, dass die Ergebnisse nicht so real waren, wie er das dargestellt hatte. Aber als die dann versucht haben, diese Ergebnisse zu veröffentlichen, die seine Entdeckung in Frage gestellt haben, da haben sie nicht so viele Leute gefunden, die das haben wollten. Wurde ihnen gesagt, dass das schon alles auserzählt ist, warum sollte man was wiederholen, was schon untersucht wurde? Irgendwann haben die ihr Paper dann doch zur Begutachtung geschickt, aber der eine Gutachter hat das begeistert gelobt. Der zweite Gutachter hat das Paper abgelehnt und damit die Chancen auf 'ne Veröffentlichung zunichtegemacht. Und wer war der zweite Gutachter? Genau, der, der das alles entdeckt haben wollte.
Schließlich wurde diese neue Studie dann doch veröffentlicht. Die hat zu so'ner längst überfälligen Abrechnung in der Sozialforschung geführt, besonders in der Sozialpsychologie, die als "Replikationskrise" bekannt wurde. Wenn Forscher versuchten, frühere Studien und Experimente zu wiederholen - einschließlich Erkenntnisse, die als gängige Weisheit akzeptiert worden waren - erhielten sie andere Ergebnisse. In einer Studie aus dem Jahr haben Forscher versucht, die Ergebnisse von hundert einflussreichen Experimenten zu replizieren, die in bekannten Psychologiezeitschriften veröffentlicht worden waren. Nur sechsunddreißig haben den Test bestanden. Fette Behauptungen wurden entkräftet. Viele Dinge, von denen wir dachten, wir wüssten sie, haben sich als falsch herausgestellt. Dieses methodische Erdbeben hat unser Vertrauen in akzeptierte Wahrheiten erschüttert. Und es hat auch 'ne beunruhigende Frage aufgeworfen: Was ist noch falsch?
Um mal zu zeigen, wie kaputt dieses System des Selbstverständnisses geworden ist, haben einige Forscher versucht, offensichtlich falsche Behauptungen zu veröffentlichen. In einem Fall haben Forscher scheinbar statistisch valide Ergebnisse erzeugt, die beweisen, dass das Hören des Beatles-Songs "When I'm Sixty-Four" dazu führt, dass Menschen jünger werden. Nicht sich jünger fühlen, sondern jünger werden. 'Ne andere Studie hat gezeigt, dass Frauen eher für Barack Obama im Jahr gestimmt haben, wenn sie zum Zeitpunkt der Stimmabgabe ihren Eisprung hatten. Diese "Ergebnisse" folgten den akzeptierten Methoden und bestanden die üblichen statistischen Schwellenwerte für die Veröffentlichung. Was war da los?
Sozialforscher sind leider manchmal schuldig, schlechte Forschungsmethoden zu verwenden oder sogar das System absichtlich auszutricksen. Das mag jetzt alles nach so 'ner Insider-Sache klingen, 'n paar esoterische Bedenken von jemandem, der beruflich als Sozialwissenschaftler arbeitet. Aber wir alle haben ein Interesse daran zu verstehen, wie Sozialforschung produziert wird, mit all ihren Fehlern und Schwächen, weil es eben oft die Information ist, die unsere Gesellschaften - und unsere Führungskräfte - nutzen, um Entscheidungen zu treffen. Die schmutzige Wäsche der Sozialforschung zu lüften, ist sinnvoll als Korrektiv zu unserer falschen Bilderbuchversion der Realität, dieser imaginären Welt, in der X immer Y verursacht und Zufälle keine Rolle spielen. Aber das Verständnis dieser Mängel gibt dir auch die intellektuellen Werkzeuge, um neue "Erkenntnisse" mit 'ner gesunden Portion Skepsis zu bewerten.
Ich muss uns jetzt, ich fürchte, kurz ins Detail führen. Aber, glaubt mir, es ist wichtig zu verstehen, warum wir oft falsch liegen. Die meisten Studien in der Politikwissenschaft, der Wirtschaftswissenschaft, der Soziologie, der Psychologie und so weiter produzieren 'ne quantitative Metrik, die als P-Wert bekannt ist. Ich werde jetzt hier 'n paar mathematische Details überspringen, aber das ist das Maß, das Sozialforscher als Abkürzung verwenden, um festzustellen, ob 'ne Erkenntnis "real" sein könnte - oder ob es 'ne Studie ist, die nichts entdeckt, also ein "Nullergebnis" liefert. Wenn der P-Wert ausreichend niedrig ist, interpretieren Forscher das meistens als Beweis dafür, dass die Erkenntnis wahrscheinlich real ist, oder, wie es formell heißt, statistisch signifikant. Die Forschungsgemeinschaft hat sich weitgehend darauf geeinigt, dass die Schwelle für die Veröffentlichung ein P-Wert unter liegt. In der Praxis bedeutet das oft, dass 'ne Studie mit einem P-Wert von, also knapp über der Schwelle, nicht veröffentlicht wird, während die gleiche Studie mit einem P-Wert von, also knapp unter der Schwelle, wahrscheinlich veröffentlicht wird. Also, wenn diese gefürchtete Zahl auftaucht, können Forscher die Chance auf 'ne Veröffentlichung retten, wenn sie diesen P-Wert kreativ auf oder drücken können. Daten lassen sich ja auf viele verschiedene Arten aufbereiten, ne? Und Forscher wählen dann halt die Option, die den niedrigeren P-Wert ergibt. Es hat mal einer gesagt: "Wenn man die Daten lange genug quält, gestehen sie alles."
Dieses Schwellenwertsystem baut 'n schrecklichen Anreiz in die Forschungsproduktion ein, weil die Veröffentlichung an Beförderungen, zukünftige Fördergelder und den Karrierefortschritt gekoppelt ist. Wenn Forscher ihre Datenanalyse so anpassen, dass sie 'n P-Wert erzeugen, der niedrig genug ist, damit ein Artikel veröffentlicht werden kann, dann nennt man das P-Hacking, und das ist 'ne Geißel der modernen Forschung, die dazu führt, dass wir unsere Welt falsch verstehen. Aber wie verbreitet ist das eigentlich?
In einer Analyse von Artikeln, die in Top-Fachzeitschriften veröffentlicht wurden, fanden Forscher 'n enormen Anstieg der Anzahl von Artikeln mit P-Werten knapp unter der Schwelle für die Veröffentlichung. Das ist 'n starker Beweis dafür, dass die veröffentlichte Forschung durch dieses System verzerrt wird. Die Replikationskrise, die teilweise durch diese widerlegten ESP-Studien ausgelöst wurde, hat diesen P-Hacking-Deckel gelüftet. Leider hat das aber nicht viel dazu beigetragen, es zu stoppen. Als Wirtschaftswissenschaftler Daten in angesehenen Fachzeitschriften untersuchten, viele Jahre nach der Replikationskrise, stellten sie fest, dass bis zu einem Viertel der Ergebnisse irreführende Dateninterpretationen und potenzielle Beweise für P-Hacking zeigten. Das ist 'n großer Teil der Forschung, die beeinflusst, wie wir die Welt sehen - und unseren Platz darin. Diese gefälschten Studien, die oft geradlinige Ursachen und Wirkungen aufzeigen, verstärken fälschlicherweise die Vorstellung, dass wir die Zufälle der Gesellschaft ausblenden können, weil die Realität - wenn sie durch P-Hacking verzerrt wird - tatsächlich aufgeräumter und geordneter erscheint. X verursacht Y auf einfache Weise, und wir haben den niedrigen P-Wert, um das zu beweisen!
Schlechte Forschung erblickt manchmal auch das Licht der Welt wegen 'nem Problem, das als "File Drawer Problem" bekannt ist. Stell dir das mal so vor: Wenn ich dich bitte, 'ne Münze zehnmal zu werfen, dann ist die Wahrscheinlichkeit etwa fünf Prozent, dass du mindestens achtmal Kopf bekommst. Wenn du 'ne Münze zehnmal hintereinander bei zwanzig verschiedenen Gelegenheiten wirfst, dann ist es ziemlich wahrscheinlich, dass du mindestens achtmal Kopf bei einer dieser zwanzig Gelegenheiten bekommst. Jetzt stell dir vor, du beschließt, die zehn Sätze von Münzwürfen immer wieder zu wiederholen, bis du achtmal Kopf hast. Wenn du das endlich schaffst, erzählst du deinem beeindruckten Freund von deinem erstaunlichen Ergebnis: "Ich hab 'ne Münze zehnmal geworfen und achtmal Kopf bekommen! Was für 'n seltenes und interessantes Ergebnis!" Um das Staunen deines Freundes noch zu verstärken, erwähnst du nicht, wie oft du es vorher versucht hast und gescheitert bist.
Stell dir jetzt die gleiche Logik vor, aber mit Forschern, die versuchen, die Legitimität von ESP oder Präkognition zu beweisen. Neunzehn Forscher führen Experimente durch und finden nichts. Kein Ergebnis, keine Veröffentlichung. Sie nehmen ihre Ergebnisse und stecken sie still und heimlich in 'ne Schublade, die sie nie wiedersehen werden. Dann, rein zufällig, "entdeckt" der zwanzigste Forscher etwas Erstaunliches, das die statistischen Maßstäbe besteht, die in diesem Bereich üblicherweise verwendet werden. Begeistert veröffentlicht er das und weil es die statistischen Tests besteht, besteht es die Peer-Review und wird veröffentlicht, mit 'nem großen Knall. Die neunzehn gescheiterten Experimente sind unsichtbar, weil sie nie außerhalb der Schublade auftauchen. Das eine "erfolgreiche" Experiment ist sichtbar - und überzeugt die Leute, dass 'n Effekt real ist. Das ist das File Drawer Problem.
Wenn du wüsstest, dass neunzehn von zwanzig Forschern kein Ergebnis gefunden haben, dann würdest du diese "Entdeckung" in Frage stellen, aber diese neunzehn Studien sind nicht veröffentlicht, verstauben in Schubladen, also bist du blind für ihre Existenz. Das File Drawer Problem produziert nicht nur 'ne schädliche Form der Veröffentlichungsvoreingenommenheit, die unser Verständnis der Realität verzerrt, indem es sie geordneter erscheinen lässt, als sie ist, sondern es schafft auch starke Anreize für Forscher, sich auf Forschung zu konzentrieren, die "positive" Ergebnisse neuartiger, faszinierender Erkenntnisse liefert, anstatt auf die weniger lohnenden, aber ebenso wichtigen Aufgaben, keine Beziehung zwischen Ursache und Wirkung aufzuzeigen oder schlechte Forschung zu entlarven. Einige Forscher, die krasse Behauptungen aufgestellt haben, die später widerlegt wurden, sind immer noch berühmt. Nur wenige haben von denen gehört, die diese Widerlegungen machen.
Leider ist schlechte Forschung genauso einflussreich wie gute Forschung. Eine Studie aus dem Jahr hat ergeben, dass Forschung, die nicht repliziert werden konnte (und daher wahrscheinlich gefälscht ist), genauso oft zitiert wird wie Forschung, die durch 'ne wiederholte Studie unabhängig bestätigt wurde. Diese Forschungsfehler sind oft ganz offensichtlich. In einer Studie wurden Experten gebeten, Papers zu lesen und dann Wetten darauf abzuschließen, welche Forschung durch Replikationstests bestätigt wird und welche nicht. Ihre Wetten haben sich überwiegend ausgezahlt. Die konnten schon von Weitem erkennen, was zu gut war, um wahr zu sein. Es gibt sogar so'ne amerikanische Forschungsagentur, die Ressourcen für so'n "Bullshit-Detektor" für sozialwissenschaftliche Forschung bereitgestellt hat, mit einigem Erfolg. Aber obwohl schlechte Forschung relativ leicht zu erkennen ist, wird immer noch viel davon produziert. Und die Peer-Review - dieser Mechanismus, bei dem Wissenschaftler die Arbeiten anderer begutachten, um zu bestimmen, was 'ne Veröffentlichung verdient - ist selbst ein kaputtes System. In einer Studie haben Forscher absichtlich schwerwiegende Fehler in Forschungsartikel eingebaut, nur um zu sehen, wie viele von den Gutachtern entdeckt werden. Rate mal, wie viele es waren? Nur einer von vier.
Diese Probleme kommen noch zu anderen hinzu, die direkter mit unserer Bilderbuchversion der Realität verbunden sind. Zum Beispiel stellt sich 'n großer Teil der Forschung immer noch vor, dass wir in 'ner linearen Welt leben, in der die Größe 'ner Ursache proportional zur Größe ihrer Wirkung ist - die Welt ist so dargestellt, als ob alles auf 'ner geraden Linie liegt. Wie wir immer wieder gesehen haben, ist das eindeutig der falsche Weg, um unsere Welt zu verstehen. Aber viele quantitative Modelle, die weit verbreitet sind, stellen sich diese Welt immer noch vor. Warum? Weil die quantitative Sozialwissenschaft hauptsächlich in den er Jahren entstanden ist, als Rechenleistung teuer und weniger ausgefeilt war. Aber aufgrund willkürlicher Festlegungen ist diese Sichtweise der Welt hängen geblieben - und dominiert weiterhin die meisten sozialwissenschaftlichen Bereiche -, obwohl wir heute zu viel ausgefeilteren Modellen in der Lage sind.
Komplexitätswissenschaft - und diejenigen, die die ausgefeiltere Logik komplexer adaptiver Systeme nutzen, um unsere Welt zu verstehen - machen leider nur 'n winzigen Teil der modernen Forschungsproduktion aus. Wir tun einfach so, als ob die Welt so ist, obwohl wir wissen, dass sie anders ist, und das führt dazu, dass wir schwerwiegende, vermeidbare Fehler darin machen, wie wir die Gesellschaft führen.
Jetzt könnten einige unaufmerksame Leser diese Kritik als Anweisung verstehen, das Kind mit dem Bade auszuschütten - und fälschlicherweise zu dem Schluss kommen, dass sozialwissenschaftliche Forschung sinnlos, bedeutungslos und hoffnungslos fehlerhaft ist. Das ist sie nicht. Wir bewegen uns viel besser in unserer Welt als früher, dank wichtiger Fortschritte in den Forschungsbereichen, die uns selbst untersuchen. Sozialwissenschaftliche Doktoranden werden vor den Gefahren des P-Hacking gewarnt und einige Fachzeitschriften unternehmen kluge Anstrengungen, um das File Drawer Problem anzugehen. Die Transparenz hat erheblich zugenommen. Nur weil sich Wirtschaftswissenschaftler oder Politikwissenschaftler manchmal irren, heißt das nicht, dass wir die Wirtschafts- und Politikwissenschaft aufgeben sollten. Vielmehr sollten wir hart daran arbeiten, das einfache Problem der sozialwissenschaftlichen Forschung zu lösen. Und das lässt sich lösen.
Aber was sich nicht lösen lässt, fürchte ich, ist das schwere Problem.
Hier wird alles ziemlich verwirrend - und hier wird deutlich, dass dieses scheinbar zufällige "Rauschen" viel wichtiger ist, als wir vorgeben. Vor ein paar Jahren haben Sozialwissenschaftler aus Deutschland und Großbritannien beschlossen, mal was Neues auszuprobieren. Sie wollten die Forschung auslagern, um 'ne lange bestehende Frage zu beantworten, die Gelehrte und Öffentlichkeit gleichermaßen gespalten hatte: Werden Wähler weniger unterstützend für das soziale Netz, wenn mehr Einwanderer in ein Land kommen? Führt 'n Zustrom von Einwanderern zu 'ner Gegenreaktion gegen Sozialausgabenprogramme, wie Arbeitslosengeld, von Wählern, die sie als unrechtmäßige "Geschenke" betrachten? Diese Frage ist natürlich wichtig, aber die Beweislage war bisher gemischt. Einige Studien haben das bestätigt, andere haben es verneint. Was würde passieren, fragten sich die Forscher, wenn sie einer Gruppe von Forschern die gleichen Daten geben und ihnen die gleiche Frage stellen würden? Würden sie die gleichen Antworten bekommen?
Sechsundsiebzig Forschungsteams haben teilgenommen. Es gab keine Kommunikation zwischen ihnen, also konnten sie keine Notizen vergleichen oder dem Gruppendenken erliegen. Stattdessen verfolgten sie jeweils ihren eigenen Ansatz, um die verborgenen Muster in den Zahlen zu entschlüsseln. Als die Studie endete, hatten die sechsundsiebzig Teams mathematische Modelle erstellt, um die Auswirkungen der Einwanderung auf die Unterstützung von Sozialprogrammen abzuschätzen. Keine der Modelle war gleich. Jedes Forschungsteam verfolgte 'n etwas anderen Ansatz.
Was sie fanden, war außergewöhnlich: ein völlig gemischtes Ergebnis. Etwas mehr als die Hälfte der Forscher fand keinen klaren Zusammenhang zwischen dem Grad der Einwanderung und der öffentlichen Unterstützung für das soziale Netz. Aber die übrigen Teams waren gespalten - fast genau in der Mitte -, wobei einige feststellten, dass die Einwanderung die Unterstützung für das soziale Netz untergrub, während andere das genaue Gegenteil feststellten. Ungefähr ein Viertel der Modelle sagte ja, ungefähr ein Viertel sagte nein und die Hälfte sagte "Nichts zu sehen hier".
Um herauszufinden, was passiert war, untersuchten die Forscher sorgfältig die methodischen Entscheidungen jedes Teams. Aber methodische Entscheidungen konnten nur etwa fünf Prozent der Variation in den Ergebnissen erklären. Die anderen fünfundneunzig Prozent waren unerklärliche dunkle Materie. Niemand konnte das erklären. Die Forscher zogen 'n Schluss, der zum Ethos dieses Buches passt: "Selbst die scheinbar kleinsten Entscheidungen können die Ergebnisse in verschiedene Richtungen lenken und nur das Bewusstsein für diese Details kann zu produktiven theoretischen Diskussionen oder empirischen Tests ihrer Legitimität führen." Die kleinsten Entscheidungen machten 'n großen Unterschied. Das schafft unvermeidliche Herausforderungen, die man sich nicht wegwünschen oder mit besserer Mathematik lösen kann. Ein Teil des schweren Problems ist, dass wir in 'nem "Universum der Unsicherheit" leben, wie es der Titel dieser Arbeit schon sagt.
Meistens werden ja nicht sechsundsiebzig Forschungsteams beauftragt, 'ne bestimmte Frage zu beantworten. Es ist fast immer nur ein Forscher oder 'ne kleine Gruppe von ihnen, die daran arbeiten, 'ne Frage über unsere Welt zu beantworten. Stell dir vor, was passiert wäre, wenn diese Frage nur von einem Forscher oder einem Forschungsteam gestellt und beantwortet worden wäre. Es wäre möglicherweise 'ne maßgebliche Studie veröffentlicht worden, die zeigt, dass Einwanderung die Unterstützung für Sozialausgaben verringert oder 'ne Studie, die zeigt, dass Einwanderung die Unterstützung für Sozialausgaben erhöht. (Dieses Experiment zeigt, dass jede Erkenntnis ungefähr gleich wahrscheinlich wäre.) Diese einzelne Studie hätte vielleicht 'ne Berichterstattung in der Presse ausgelöst und die öffentliche Meinung über Einwanderung verändert. Aber es wäre 'n Glücksspiel, ob die Studie aussagt, dass Einwanderung für die öffentliche Unterstützung für Sozialausgaben hilfreich oder schädlich ist.
Und jetzt stell dir mal vor, die Forschung wäre ergebnisoffen und jedes Team könnte sich aussuchen, welche Daten es bevorzugt, anstatt die gleichen Daten zu verwenden, um die Frage zu beantworten. Dann wäre alles möglich. Aber so funktioniert Forschung normalerweise. Das ist ein weiterer Teil des schweren Problems: Wir können uns nicht darauf einigen, was vor sich geht, selbst wenn wir an der gleichen Frage mit den gleichen Daten arbeiten.
Leider ist das aber noch nicht alles beim schweren Problem. Was, wenn sich die Welt, die wir zu verstehen versuchen, ständig verändert? Nehmen wir zum Beispiel die Untersuchung von Diktaturen. In den er und er Jahren entwickelten Politikwissenschaftler 'n Konzept namens "autoritäre Beständigkeit", um Diktaturen zu beschreiben. Die Idee war einfach. Bestimmte Arten von Diktaturen überleben lange, komme was wolle. Die Theorie war einleuchtend. Die Daten untermauerten sie. Es gab sogar so Vorzeigebeispiele für die Theorie, besonders im Nahen Osten - schreckliche Tyrannen wie Muammar Gaddafi in Libyen, Ben Ali in Tunesien und Hosni Mubarak in Ägypten. Es wurden Bücher darüber geschrieben, warum ihre widerstandsfähigen Regime so unerschütterlich waren. Mit diesen Büchern wurde Karriere gemacht. Das Konzept wurde zur akzeptierten Weisheit. Diktatoren mögen skrupellos sein, aber sie sorgen für Stabilität.
Dann, Ende , zündete sich 'n Gemüsehändler in Tunesien an. Bald darauf wurde die Theorie scheinbar ausgelöscht. Die Vorzeigebeispiele wurden gestürzt, ihre Paläste von wütenden Mobs an der Spitze von Revolutionen geplündert. Innerhalb weniger Monate floh Ben Ali ins Exil, Mubarak wurde verhaftet und Gaddafi getötet. Die autoritäre Beständigkeit hatte sich offenbar schwer geirrt. Ihre Hauptvertreter sahen ihre Sterne sinken und schienen sich in ihrer Diagnose der Weltlage gründlich geirrt zu haben. Aber es hatte alle überrascht, nicht nur die in den Elfenbeintürmen. Ich erinnere mich, als ich an meiner Doktorarbeit arbeitete, kurz bevor ich nach Tunesien reiste, um Feldforschung zu betreiben, saß ich im Büro 'ner Professorin und schaute auf 'n Poster, das sie an die Wand gehängt hatte, um diesen Punkt zu beweisen. Das war 'ne "politische Risikokarte" des Nahen Ostens aus dem Jahr , die von Leuten erstellt wurde, die beruflich damit beschäftigt waren, Risiken und Unsicherheiten zu navigieren. Die sicheren, stabilen Länder waren grün schattiert. Als ich Anfang auf die Karte schaute, bemerkte ich, dass jeder einzelne grüne Bereich auf der Karte gerade brannte, mitten in Revolutionen oder Kriegen.
Hier ist die entscheidende, unbeantwortbare Frage: War die ursprüngliche Theorie falsch oder hat sich die Welt verändert?
Es ist plausibel, dass Gaddafi und Mubarak die ganze Zeit über zerbrechlich waren und wir sie nur missverstanden und überschätzt haben. Aber es gibt 'ne alternative Erklärung: Vielleicht hat der Arabische Frühling die Funktionsweise der nahöstlichen Diktaturen verändert. Was einst widerstandsfähig war, wurde brüchig. Wir akzeptieren diese Verschiebungen in der physischen Welt, so wie Wasser, das mit 'nem Hammer getroffen wird, den Schlag absorbiert und größtenteils in seinen vorherigen Zustand zurückkehrt, aber frieren wir es ein und die Schäden durch 'nen Hammerschlag werden sichtbar und dauerhaft, eingeätzt in das Eis. Das Wasser hat sich verändert, also muss sich auch die Theorie über seine Eigenschaften ändern. Vielleicht war die Theorie über nahöstliche Diktaturen richtig, zumindest vom Kalten Krieg bis etwa und dann wurde die Welt grundlegend anders. Wer weiß das schon? Es ist unmöglich, das mit Sicherheit zu sagen. Theorien haben kein Verfallsdatum.
Wenn wir aber zu dem Schluss kommen, dass soziale Theorien etwas falsch gemacht haben, gehen viele davon aus, dass die Theorie von Anfang an falsch war. Das ist 'n Fehler. Soziale Theorien sind nicht dasselbe wie Theorien in der Chemie. Wenn Höhlenmenschen Natron und Essig zusammenmischen würden, würden sie den gleichen Effekt erzielen wie wir. Solche dauerhaften Stabilitäten über Zeit, Raum und Kultur hinweg gibt es in der sozialen Dynamik nicht. Stattdessen kann ein Muster von Ursachen und Wirkungen in einem Kontext für 'ne Weile existieren, bis sich die soziale Welt verändert und das Muster nicht mehr existiert. In der menschlichen Gesellschaft verändern einige Formen der Kausalität ihre Gestalt. Trotzdem stellen wir uns vor, dass es irgendeine feste Wahrheit über uns selbst gibt, die wir gerade entdecken wollen, während wir nicht erkennen, dass sich die eigentliche Wahrheit unserer sozialen Systeme ständig verändert, verschiebt und unserem Verständnis entzieht.
Alles wird noch rätselhafter, wenn man bedenkt, dass wir nur in einer möglichen Welt leben. Wenn du die Metapher von so 'nem Garten ernst nimmst, dann ist unsere Welt eindeutig 'n Ableger von unzähligen potenziellen Pfaden, denen wir vielleicht gefolgt wären, wenn da so 'n kleiner Twist gewesen wäre. Aber wir haben nur eine Erde, die wir beobachten können. Das macht es uns unmöglich zu wissen, was wahrscheinlich und was unwahrscheinlich ist, besonders bei seltenen, wichtigen Ereignissen.
Am zum Beispiel gab es irgendeine unerkennbare Wahrscheinlichkeit, dass die für den folgenden Tag geplanten Anschläge gelingen würden, 'ne große Anzahl von Menschen zu töten. Vielleicht hatten die Terroristen 'ne Chance von fünf Prozent, den Anschlag durchzuziehen. Oder vielleicht hatten sie 'ne Chance von fünfundneunzig Prozent, fast 'ne sichere Sache. Aber als dann passiert ist, können wir die Geschichte nicht wiederholen und versuchen herauszufinden, was es war, weil wir nur einen einzigen Datenpunkt haben: Es ist passiert.
Ereignisse mit geringer Wahrscheinlichkeit passieren manchmal, und Ereignisse mit hoher Wahrscheinlichkeit auch, aber wenn ein Ereignis nur einmal passiert, ist es schwer zu sagen, ob das Ereignis unvermeidlich oder 'ne Laune der Natur war. Du kannst immer wieder 'ne Münze werfen, um ihre Eigenschaften zu verstehen, aber du kannst die Geschichte nicht immer wieder neu auflegen. Wir können einfach nicht wissen, ob unsere Welt 'ne repräsentative Stichprobe aller möglichen Welten ist oder ob es sich um 'nen verrückten Ausreißer handelt, 'ne Bizarro-Realität. Mit nur einer Erde, die wir beobachten können, gibt es einige Dinge, die wir vielleicht nie erfahren werden.
Kehren wir mal zu so 'ner Prognose zurück, die vorausgesagt hat, dass die bei den Präsidentschaftswahlen in den USA 'ne Wahrscheinlichkeit von Prozent hatte, zu gewinnen. Die Modelle, die auf seiner Website verwendet werden, sind 'ne Zusammenfassung von Umfragen, kombiniert mit "Fundamentals"-Daten, die auf Überzeugungen basieren, die er darüber hat, wie Wahlen tendenziell ablaufen, basierend auf vergangenen Mustern. Er ist 'n weltweit führender Experte darin, abzuschätzen, ob Umfragen die öffentliche Meinung genau erfassen und dann 'n Modell auf der Grundlage dieser Daten zusammenzustellen, kombiniert mit 'ner Reihe von Annahmen. Aber er ist nicht besser als wir anderen darin, das zu antizipieren, was als epistemische Unsicherheit bekannt ist, in die Zukunft zu blicken, um Ereignisse vorherzusagen (wie zum Beispiel, ob 'ne ausländische Regierung 'n politischen Datenserver hackt oder ob die Computerdateien 'nes Politikers den FBI-Direktor veranlassen werden, 'ne Untersuchung wiederzueröffnen, wenige Tage vor der Wahl). Trotzdem hat die Analyse das Aussehen harter Wissenschaft, weil sie statistisch unglaublich ausgefeilt ist und Tausende von Simulationen verwendet, um seine Argumente zu beweisen. Aber es gibt keine Tausende von Wahlen. Es gibt nur eine. Sie ist von Natur aus unsicher. Wir wissen nicht, ob das Ergebnis, das wir erlebt haben - Trumps Sieg - 'n durchschnittliches Ergebnis, 'n extremer Ausreißer oder irgendwas dazwischen war, weil wir die Geschichte nicht neu auflegen können. Du kannst herausfinden, dass die zugrunde liegende Wahrscheinlichkeit, beim Münzwurf Kopf zu werfen, ungefähr fünfzig Prozent beträgt, indem du die Münze einfach immer wieder wirfst und die Ergebnisse beobachtest. Aber kannst du sagen, ob 'ne Münze fair oder voreingenommen ist, wenn du nur einen einzigen Wurf hast, der Zahl ergibt? Natürlich nicht, aber bei einmaligen Ereignissen in 'nem ganz bestimmten Kontext versuchen wir das zu oft und scheitern daran.
Als dann diese Wahl verloren hat, hat er auf sein Modell als Verteidigung hingewiesen: Prozent sind keine Prozent! Es gab 'ne fast prozentige Wahrscheinlichkeit, dass Clinton im Modell verliert, also war das Modell nicht falsch - es war nur etwas, das fast ein Drittel der Zeit passieren würde! Wenn ihr sagt, wir haben uns geirrt, dann versteht ihr keine Mathematik! Das wirft die offensichtliche Frage auf: Könnte das Modell jemals "falsch" liegen bei dieser Wahl? Wenn das Modell etwas mit geringer Wahrscheinlichkeit vorhersagt und es passiert, dann ist es nur die Welt, die komisch ist, nicht das Modell, das falsch ist. Es ist unfalsifizierbar, unmöglich zu widerlegen. Und wenn wir Dinge nicht widerlegen können, bleiben wir in 'nem Trott stecken - und unsere falschen Vorstellungen über unsere Welt werden immer schlimmer.
Jetzt gibt es noch 'ne Frage zu klären: Wenn die alte Bilderbuchweltanschauung von geordnetem Individualismus, linearen Beziehungen und großen Effekten, die große Ursachen haben, so falsch ist, warum hält sie sich dann so hartnäckig? Wenn sie so falsch wäre, wäre sie doch längst durch etwas Besseres und Genaueres ersetzt worden. Oder?
Um zu verstehen, wie Wissenschaft funktionieren soll, betrachten wir mal die Unterschiede zwischen Basketball und Rudern. Basketballteams mit einem außergewöhnlichen Star - dem Spieler, der fünfzig Punkte in 'nem Spiel erzielen kann - können gewinnen, selbst wenn einer der Spieler im Team nutzlos ist. Das macht Basketball, um den Begriff von Chris Anderson und David Sally zu entlehnen, zu 'nem starken Bindeglied. Du kannst es dir leisten, 'n schwaches Glied zu haben - solange dein stärkstes Glied wirklich stark ist. Spotify ist 'n weiteres Beispiel für 'n starkes Bindeglied. Millionen und Abermillionen von schrecklichen Songs können auf Spotify sein und du wirst trotzdem glücklich sein, solange es die Songs hat, die du am liebsten magst. Die schwachen Glieder - diese schrecklichen Songs, die du nie hörst - beeinträchtigen nicht seine Wirksamkeit als Musikplattform. Um 'n Problem mit starken Bindegliedern zu verbessern, kannst du das schlechte Zeug ignorieren und dich darauf konzentrieren, das beste Zeug besser zu machen.
Rudern ist genau das Gegenteil. Geschwindigkeit ist 'ne Funktion von Synchronisation, Balance und Timing. In 'ner Crew von acht Ruderern und einem Steuermann, wenn auch nur ein Ruderer etwas daneben liegt, beginnt das Boot, von Seite zu Seite zu schwanken, die Ruder schlagen auf das Wasser und erzeugen Widerstand. Die Crew wird verlieren. Sie sind nur so gut wie ihr schlechtester Athlet. Das macht es zu 'nem Problem mit schwachen Bindegliedern. Probleme mit schwachen Bindegliedern lauern überall. In den Worten des Psychologen Adam Mastroianni: "Lebensmittelsicherheit zum Beispiel ist 'n Problem mit schwachen Bindegliedern. Du willst nichts essen, das dich umbringt.... 'N Automotor ist 'n Problem mit schwachen Bindegliedern: Es spielt keine Rolle, wie gut deine Zündkerzen sind, wenn dein Getriebe kaputt ist." Um 'n Problem mit schwachen Bindegliedern zu lösen, kannst du dich nicht auf die besten Teile konzentrieren. Du musst die schwächsten Glieder eliminieren.
Wie Mastroianni betont, ist Wissenschaft 'n Problem mit starken Bindegliedern. Es sind die besten Entdeckungen, die die Gesellschaft verändern, und es spielt keine Rolle, wenn 'n Haufen Blödsinn minderwertige wissenschaftliche Zeitschriften verstopft. Viele Leute hatten dumme Ideen, wie man das Atom