Chapter Content
えーっと、皆さん、ちょっとね、今回は、そのー、まあ、ロケット科学より社会の理解の方が難しいっていうお話なんですけど。あのー、なんかね、王様とか女王様になったつもりで、こう、占い師をね、宮廷に呼んで、話を聞く場面を想像してみてください。で、二人の占い師がやってくるんですよ。で、どっちも未来のことについて専門的な知識があるって言うんです。一人目の占い師はね、半年後に起こるトレンドを正確に予測できるって言うんです。で、もう一人の占い師は、ひざまずいて、3000年の4月26日土曜日に起こる出来事を確実に予測できるって、自信満々に言うんですよ。さあ、どっちを信じるかって話になるじゃないですか。
普通ね、短い期間の方を選びがちですよね。だって、975年もあったら、色々なことが変わるじゃないですか。でも、何が予測されているかっていうのが重要なんですよ。それぞれの占い師が、どんな不確実性を抑えようとしているのかっていうね。それを考えると、ちょっと見えてくるんです。で、もしですよ、一人目の予測がアメリカの経済成長率が半年後に3%を超えるっていう予測で、二人目の予測が3000年の4月26日に皆既日食が起こるっていう予測だとしたら、どうですか？私だったらね、間違いなく日食に賭けますね。経済成長率の方は、ちょっと自信ないな。
よくね、「そんなのロケット科学じゃないんだから」って言うじゃないですか。でも、これからは「そんなの社会科学じゃないんだから」って言うべきなんですよ。これ、最初はね、めちゃくちゃに聞こえるかもしれないけど、それくらい社会を理解するっていうのは難しい問題なんです。両方の分野にね、天才たちがいるのは間違いないんですけど、ロケット科学者からすれば、惑星とか月の安定した動きを予測するなんて、80億人もの人間が複雑に絡み合ったシステムの中で、長期的な予測を当てることに比べれば、朝飯前だって言うと思うんですよ。
にもかかわらず、私たちの世界って、人間社会の仕組みに対する、そのー、ちょっとね、欠陥のある理解によって形作られている部分が多いんですよ。予算を配分したり、税率を設定したりするのも、結局のところ、短期的な予測しか当たらない経済予測に基づいてるじゃないですか。戦争をするかしないかを決めるのだって、主観的なリスク評価に基づいてるんだけど、それが後になって、とんでもなく間違っていたってことが判明したりするじゃないですか。企業も、投機的なトレンド予測に基づいて、何十億も投資することがありますよね。
これまで見てきたように、世界は私たちが想像しているのとは違う仕組みで動いているんですよ。で、その間違ったイメージが残ってしまうのは、欠陥のある社会調査によって、それが私たちに反映されてるからなんですよ。現代の経済学とか政治学、社会学の占い師の多くは、私たちが持ってる、おとぎ話のような現実観を強化するんです。つまり、人生における重要な偶然を「ノイズ」として無視する、整理された神話ですね。私たちの自己理解の多くは、規則的で直線的な因果関係が時間や空間を超えて安定しているっていう、誤った前提から始まってるんですよ。「XはYを引き起こすのか？」っていうようなね、因果関係の探求ばかりして、偶然とか複雑さの役割を過小評価してしまうんです。でも、もしほとんどの研究で使われているおとぎ話のような現実観が、そもそも誤解を招くものだとしたら、偶然の出来事を捉え、それらを変化の原動力として真剣に受け止めるような、現実の捉え方をどうすれば提示できるんでしょうかね？
統計学者のジョージ・ボックスは、「すべてのモデルは間違っている。しかし、役に立つものもある」って言ったんですよ。私たちは、その教訓を忘れがちで、地図と領土を混同して、単純化された世界の表現が、正確に世界を描写していると誤って想像してしまうんです。何度も「新しい予測によると」とか「最近の研究で発見された」っていうのを目にして、その根底にある前提とか方法論を検証せずに、鵜呑みにしてきた経験、ありませんか？社会調査は、不確実な世界をナビゲートするための、私たちが持ってる最高のツールなんですよ。非常に役立つことも多いんです。でも、コストがかかる、時には壊滅的な間違いを避けるためには、偶然とか恣意性、偶発性によって左右される複雑な世界を航海する中で、私たちが自分自身について何を知っていて、何を知らないのかを、より正確に認識する必要があるんです。そろそろ、確実に知っていることがどれだけ少ないか、正直になる時が来たんじゃないかな。社会調査の世界に、ちょっとだけ足を踏み入れて、その裏側を見てみましょう。
この問題をね、二つの部分に分けて考えることができると思うんです。一つは「社会調査の簡単な問題」で、もう一つは「社会調査の難しい問題」です。「簡単な問題」は、欠陥のある方法論から生まれます。これは、解決できるんですよ。解決すべき問題なんです。一方、「難しい問題」は、おそらく解決不可能だと思います。なぜなら、それは人間の誤りとか、悪い方法論から生じるのではなく、人間の行動に結びついた一部の不確実性が、絶対的で解決不可能だからなんです。
何が簡単で、何が難しいのか、詳しく見ていきましょう。
10年前、著名な社会心理学者、ダリル・ベムは、予知能力とか超感覚的知覚（ESP）が実際に存在するかどうかを試すことにしました。ベムはね、ただの変人じゃなかったんですよ。MITで物理学を学び、ミシガン大学で博士号を取得し、ハーバード、スタンフォード、コーネルで教鞭を執っていたんです。標準的な研究方法を用いて、ベムは一連の実験を行いました。ある実験では、参加者は画面に二つのカーテンを見せられ、そのうちどちらのカーテンの裏にエロティックな画像が隠されているかを当てなければなりませんでした。驚くべきことに、参加者は偶然よりも高い確率で正解したんです。さらに驚くべきことに、カーテンの裏の写真がエロティックなものではない場合、彼らの予知能力は消えてしまったんです。これらの結果は、統計的有意性の標準的な指標を用いて検証されました。
ベムは、この一見超自然的な能力について、説得力のある説明を持っていませんでした（また、参加者がなぜエロティックな画像を、そうでない画像よりも奇跡的にうまく予測できるのかについての、もっともらしい理論も持ち合わせていませんでした）。しかし、ベムが数字を分析したところ、彼は自分の疑念を確信しました。一部の人々は、彼の論文のタイトルが示唆するように、「未来を感じる」ことができたのです。ベムの2011年の研究結果は、標準的な査読プロセスを経て、この分野のトップジャーナルの一つである、Journal of Personality and Social Psychologyに掲載されました。それは大きな話題になりました。メディアはそれを飛びつきました。ベムは勝利を確信し、注目度の高いテレビ番組に出演しました。
しかし、誰もが納得したわけではありませんでした。研究者のスチュアート・リッチー、リチャード・ワイズマン、クリストファー・フレンチは、独自に結果を再現しようとしました。彼らが同じ実験を行ったところ、彼らの研究では誰も「未来を感じる」ことができませんでした。これは、ベムの研究結果が彼が示唆するほど現実的ではないという、説得力のある証拠でした。しかし、彼らがベムへの異議を出版しようとしたとき、多くの賛同者を見つけることができませんでした。彼らは古い領域を踏み荒らしていると言われました。すでに研究されていることを繰り返す意味があるのか、と。彼らは最終的に、自分たちの論文を査読のために送ることができました。査読とは、研究が匿名の学者によって評価されるプロセスです。最初の査読者は彼らの研究を熱心に称賛しました。二人目の査読者は論文を拒否し、出版の可能性を打ち砕きました。二人目の査読者の名前は？ダリル・ベムでした。
最終的に、ベムの「発見」に異議を唱える新しい研究が発表されました。それは、社会調査、特に社会心理学における「再現性の危機」として知られる、長らく遅れていた見直しに貢献しました。研究者が以前の研究や実験を繰り返そうとしたとき、広く受け入れられてきた従来の知恵を含む研究でさえ、異なる結果が得られたのです。2015年のある研究では、研究者は著名な心理学ジャーナルに掲載された100件の重要な実験の結果を再現しようと試みました。テストに合格したのはわずか36件でした。大胆な主張は無効化されました。私たちが知っていると思っていたことの多くが、間違っていることが判明しました。この方法論的な地震は、受け入れられてきた真実に対する私たちの信頼を揺るがしました。それはまた、気がかりな疑問を提起しました。他に何について間違っていたのだろうか？
自分自身を理解するシステムがどれほど壊れているかを証明するために、一部の研究者は明らかに真実ではない主張を出版させようとしました。ある例では、研究者はビートルズの歌「When I'm Sixty-Four」を聴くと、人々が若返るという、一見統計的に有効な結果を生み出すことに成功しました。若く感じるのではなく、若返るのです。別の研究では、女性は2008年にバラク・オバマに投票する可能性が高くなるのは、投票するときに排卵期だった場合であると示されました。これらの「発見」は、受け入れられている方法論に従い、出版のための標準的な統計的閾値を通過しました。一体何が起こっていたのでしょうか？
残念ながら、社会調査の研究者は、悪い研究方法を使用したり、故意にシステムを操作したりすることがあります。これは、私のように、社会科学者として専門的に雇用されている人にとって、難解な関心事のように思えるかもしれません。しかし、私たちは皆、社会調査がどのように行われているかを理解することに関心を持つべきです。なぜなら、それは私たちの社会、そして指導者が意思決定をするために使用する情報であることが多いからです。社会調査の恥部をさらすことは、私たちの誤ったおとぎ話のような現実観、つまりXが常にYを引き起こし、偶然が重要ではないという、想像上の世界に対する修正として役立ちます。しかし、これらの欠陥を理解することで、あなたは新しい「発見」を健全な懐疑心を持って評価するための、知的なツールも手に入れることができます。
残念ながら、ここで少し細かい話に入らなければなりません。辛抱強くお付き合いください。私たちがなぜよく間違うのかを理解するためには、重要なことなのです。政治学、経済学、社会学、心理学などで実施されるほとんどの研究は、P値として知られる定量的な指標を生み出します。ここでは数学的な詳細の多くを省略しますが、これは社会調査の研究者が、ある発見が「現実的」かどうかを判断するための、あるいは、何も発見せず、「無効な結果」を生み出す研究であるかどうかを判断するための、近道として使用する指標です。P値が十分に低い場合、研究者はそれを、その発見が現実的である可能性が高いという証拠、あるいは、正式には統計的に有意であるという証拠として解釈する傾向があります。研究コミュニティは、出版の閾値を0.05未満のP値にすることで、おおむね合意しています。実際には、これはP値が0.051の研究、つまり閾値をわずかに超える研究は出版されず、P値が0.049の研究、つまり閾値をわずかに下回る研究はおそらく出版されることを意味します。ですから、もしその恐ろしい0.051という数字が現れたら、研究者はそのP値を0.05または0.049まで創造的に操作することができれば、出版のチャンスを取り戻すことができます。結局のところ、データは正当化できるさまざまな方法で、切り刻むことができるのですから。研究者は、より低いP値を生み出すオプションを合理的に選択するかもしれません。経済学のノーベル賞受賞者であるロナルド・コースは、こう言いました。「データを十分に拷問すれば、自白するだろう」。
この閾値システムは、出版が昇進、将来の助成金、キャリアアップにつながるため、研究の生産にひどいインセンティブを埋め込んでいます。研究者が論文を出版するのに十分なほど低いP値を生成するために、データ分析を調整するとき、それはPハッキングと呼ばれ、現代の研究の災いであり、私たちが世界を誤解する原因となっています。しかし、それはどれほど蔓延しているのでしょうか？
トップジャーナルに掲載された論文の分析では、研究者は出版の閾値をわずかに下回るP値を持つ論文の数が、著しく急増していることを発見しました。これは、出版された研究がこのシステムによって歪められているという、強力な証拠です。ベムの信用を失墜させたESP研究によって部分的に引き起こされた再現性の危機は、Pハッキングを暴露しました。残念ながら、それはそれを止めるのにあまり役立ちませんでした。経済学者が再現性の危機から数年後、トップ経済学ジャーナル25誌のデータを調べたところ、特定の種類のリサーチメソッドを用いた結果の最大4分の1が、誤解を招くデータの解釈と、Pハッキングの可能性のある証拠を示していることがわかりました。それは、私たちが世界をどのように見ているか、そしてその世界における私たちの位置づけに影響を与える、研究の大きな割合です。これらの偽の研究は、しばしば単純な原因と結果をたどり、Pハッキングによって歪められた現実が、より整理され、秩序正しく見えるため、社会の偶然を書き出すことができるという考えを、誤って強化します。XはYを単純な方法で引き起こし、それを証明する低いP値があるのです！
悪い研究は、ファイル引き出し問題として知られる問題のために、日の目を見ることがあります。こう考えてみてください。もし私があなたにコインを10回投げてもらうように頼んだら、約5％の確率で、少なくとも8回は表が出るでしょう。もしあなたがコインを10回連続で20回投げたら、その20回のうち1回は、少なくとも8回は表が出る可能性が十分にあります。さて、あなたが8回表が出るまで、10回のコイン投げを何度も繰り返すことにしたと想像してください。ついにそれが実現したとき、あなたは（簡単に感動する）友人に、あなたの驚くべき結果を伝えるために急ぎます。「コインを10回投げたら、8回も表が出たんだ！なんて珍しくて面白い結果なんだ！」友人の畏敬の念を強めるために、あなたはその試みの前に、どれだけ何度も試して失敗したかを言わないでおきます。
さて、同じロジックを想像してみてください。でも、研究者がESPや予知能力の正当性を確立しようとしているのです。19人の研究者が実験を行っても、何も見つけられません。何も発見せず、出版もされません。彼らは静かに自分たちの発見を受け入れ、それをファイル引き出しにしまい込み、二度と日の目を見ないようにします。すると、純粋に偶然によって、20人目の研究者が、その分野で慣習的に使用されている統計的なベンチマークを通過する、驚くべき何かを「発見」します。興奮した彼女／彼は出版するために急ぎ、統計的なテストを通過するので、査読を通過し、大々的に出版されます。19件の失敗した実験は、ファイル引き出しの外に現れることがないため、見えません。1件の「成功した」実験は目に見え、人々に効果が現実的であると信じさせます。それがファイル引き出し問題です。
もしあなたが、20人の研究者のうち19人が結果を見つけられなかったことを知っていたら、その「発見」に疑問を抱くでしょう。しかし、その19件の研究は出版されず、ファイル引き出しの中で埃をかぶっているので、あなたは彼らの存在を知りません。ファイル引き出し問題は、現実を実際よりも秩序正しく見せることによって、私たちの現実の理解を歪める、有害な出版バイアスを生み出すだけでなく、研究者が原因と結果の間に、関係がないことを示すとか、悪い研究を論破するといった、やりがいはないものの、同様に重要なタスクよりも、斬新で興味深い発見の「肯定的な」結果を生み出す研究に焦点を当てる強いインセンティブを生み出します。後になって論破された大胆な主張をした一部の研究者は、いまだに有名です。論破する人々のことはほとんど誰も聞いたことがありません。
残念ながら、悪い研究は良い研究と同じくらい影響力があります。2020年の研究では、再現に失敗した（したがって、おそらく偽物である）研究は、再現研究によって独立して検証された研究と同じ頻度で引用されていることがわかりました。これらの研究の欠陥は、しばしば目に余るほど明らかです。ある研究では、専門家に論文を読んでもらい、どの研究が再現テストを通じて確認され、どれが確認されないかを賭けてもらいました。圧倒的に、彼らの賭けは報われました。彼らは真実にはほど遠いことを簡単に見抜くことができました。秘密のアメリカ国防研究機関であるDARPAは、社会調査のための「でたらめ検出器」と一部で呼ばれているものにさえ、リソースを費やしており、ある程度の成功を収めています。しかし、見抜くのが比較的簡単であるにもかかわらず、多くの悪い研究が依然として生産されています。そして、学者たちが互いの研究をレビューして、出版に値するものを決定するメカニズムである査読自体が、壊れたシステムです。ある研究では、研究者は査読者によってどれだけ多くの欠陥が見つかるかを確認するために、研究論文に意図的に重大な欠陥を埋め込みました。どれだけの欠陥が見つかったと思いますか？4分の1です。
これらの問題は、私たちの物語的な現実観に直接関連する他の問題の上に重ねられています。たとえば、私たちがあたかも直線上にすべてが適合するようにマッピングされた世界で、原因の大きさが結果の大きさに比例する直線的な世界に住んでいると想像する研究が、膨大な量で存在し続けています。これまで何度も見てきたように、それは明らかに私たちの世界を理解する上で間違った方法です。しかし、広く使用されている多くの定量的なモデルは、依然としてそのような世界が存在すると想像しています。なぜでしょうか？なぜなら、定量的な社会科学は、コンピューターの処理能力が高価で、洗練されていなかった1980年代と1990年代に、ほとんどが出現したからです。しかし、恣意的なロックインのために、そのような世界の見方は残ってしまい、私たちがはるかに洗練されたモデリングが可能になった今でも、ほとんどの社会研究分野を支配し続けています。
複雑性科学、そして複雑適応系のより洗練されたロジックを用いて、私たちの世界を理解しようとする人々は、残念ながら現代の研究生産のほんのわずかな割合を占めています。私たちは、別の方法だと知っていながら、世界がある特定の方法であるかのように装っており、それが社会を運営する方法において、重大で回避可能な誤りを犯す原因となっています。
さて、一部の不注意な読者は、これらの批判を、赤ん坊を汚れた水と一緒に捨てるように捉え、社会調査は無意味で、役に立たず、絶望的に欠陥があると誤って結論づけるかもしれません。そうではありません。私たちは、自分自身を研究する研究分野における重要な進歩のおかげで、過去よりもはるかにうまく世界を航海しています。社会科学の大学院生は、Pハッキングの危険性について警告されており、一部のジャーナルはファイル引き出し問題に対処するための賢明な取り組みを行っています。透明性は大幅に向上しました。経済学者や政治学者が時々間違えるからといって、経済学や政治学を放棄すべきではありません。むしろ、私たちは社会調査の簡単な問題を解決するために努力すべきです。そして、それは解決可能です。
しかし、私が恐れているのは、解決できないのは難しい問題だということです。
ここからすべてが非常に紛らわしくなり、一見ランダムな「ノイズ」が、私たちが装っているよりもはるかに重要であることが明らかになります。数年前、ドイツと英国の社会科学者は、何か斬新なことを試すことにしました。彼らは、研究者と一般大衆の両方を二分してきた長年の質問に答えようと、研究をクラウドソーシングすることにしたのです。より多くの移民が国に到着すると、有権者は社会的なセーフティネットを支持しなくなるのでしょうか？移民の流入は、それらを不正な「施し物」と見なす有権者からの、失業手当などの社会支出プログラムに対する反発を生み出すのでしょうか？その質問は明らかに重要ですが、これまでの証拠はまちまちです。一部の研究はイエスと言い、別の研究はノーと言いました。もし研究者が同じデータをたくさん与えられ、同じ質問をされたらどうなるだろうか？彼らは同じ答えを得るのだろうか？
76の研究チームが参加しました。彼らの間にコミュニケーションはなく、意見を比較したり、集団思考に屈したりすることはありませんでした。代わりに、彼らはそれぞれ独自のアプローチで、数字に隠されたパターンを解読しました。研究が終わったとき、76のチームは、移民が社会福祉プログラムのサポートに与える影響を推定するために、1,253の数理モデルを作成しました。モデルは一つも同じではありませんでした。各研究チームは、わずかに異なるアプローチを取りました。
彼らが発見したのは、並外れたものでした。完全に混ざった結果だったのです。研究者の半分強は、移民のレベルと社会的なセーフティネットへの国民の支持との間に、明確な関連性がないことを発見しました。しかし、残りのチームは、移民が社会的なセーフティネットの支持を損なうと考えるチームと、移民が社会的なセーフティネットの支持を高めると考えるチームに、ほぼ真っ二つに分かれていました。約4分の1のモデルはイエスと言い、約4分の1はノーと言い、半分は「ここには何も見るものはない」と言っていました。
何が起こったのかを理解しようと、研究者は各チームの方法論的な決定を注意深く調べました。しかし、方法論的な選択は、調査結果の変動の約5％しか説明できませんでした。残りの95％は、説明のつかない暗黒物質でした。誰もそれを説明できませんでした。研究者は、この本の精神に合致する結論を導き出しました。「最も些細に見える[方法論的な]決定でさえ、結果を異なる方向に導く可能性があり、これらの些細なことに気づいて初めて、生産的な理論的議論やその正当性の経験的なテストにつながる可能性がある」。最も小さな決定が大きな違いを生み出したのです。それは、より優れた数学で解決したり、打ち消したりすることができない、避けられない課題を生み出します。難しい問題の一部は、私たちがその論文のタイトルが示唆するように、「不確実性の宇宙」の中に住んでいるということです。
ほとんどの場合、76の研究チームが特定の質問に答えるように割り当てられることはありません。ほとんどの場合、ただ一人の研究者、またはその少人数のグループが、私たちの世界についての質問に取り組んでいるだけです。もしこの質問が、ただ一人の研究者または研究チームによって尋ねられ、答えられたらどうなっていたかを想像してみてください。権威ある研究が発表され、移民が社会支出の支持を減少させると示したり、移民が社会支出の支持を増加させると示すかもしれません。（この実験は、それぞれの発見がほぼ同じくらいの可能性であることを示しています。）その単独の研究は、報道機関の報道を生み出し、移民に対する国民の見解を変えるかもしれません。しかし、その研究が、移民は国民の社会支出の支持に役立つと言うか、有害であると言うかは、五分五分でしょう。
さて、もし研究がオープンエンドで、各チームが同じデータを使って質問に答えるのではなく、好きなデータを選んで選択できるとしたらどうなるでしょうか？すべての賭けは無効になるでしょう。しかし、それが通常の研究のやり方です。これは難しい問題の別の部分です。私たちは、まったく同じデータを使って、まったく同じ質問に取り組んでいるときでさえ、何が起こっているのかについて合意することができません。
残念ながら、難しい問題はそこで終わりません。私たちが理解しようとしている世界が、ヘラクレイトスが私たちに思い出させたように、常に変化しているとしたらどうでしょうか？たとえば、独裁政治の研究を取り上げましょう。1990年代から2000年代にかけて、政治学者は独裁政治を説明するために「権威主義の耐久性」と呼ばれる概念を開発しました。その考え方は単純でした。特定の種類の独裁政治は、何があっても長く存続します。その理論は理にかなっていました。データはそれを裏付けていました。その理論の宮殿のポスターボーイさえいました。特に中東には、リビアのムアンマル・カダフィ、チュニジアのベン・アリ、エジプトのホスニ・ムバラクといった、ひどい暴君がいました。彼らの弾力性のある政権がなぜそれほど揺るぎないのかについて、本が書かれました。それらの本でキャリアが築かれました。その概念は、受け入れられた知恵になりました。独裁者は冷酷かもしれませんが、確かに安定を生み出すのです。
それから、2010年後半、チュニジアの野菜の露天商が自分の体に火をつけました。すぐに、その理論は打ち砕かれたように見えました。ポスターボーイは転覆し、彼らの宮殿は革命の先頭に立った怒った暴徒によって略奪されました。数か月以内に、ベン・アリは亡命し、ムバラクは逮捕され、カダフィは殺害されました。権威主義の耐久性は、明らかに大きく間違っていたのです。その主な支持者は、自分たちの星が落ちるのを見て、世界情勢の診断において大きく誤っていたように見えました。しかし、象牙の塔にいる人々だけでなく、誰もが驚いていました。私が博士号取得に向けて研究していたとき、チュニジアで現地調査を行うために旅行する少し前に、ある教授の研究室に座って、彼女がこの点を証明するために壁に貼っていたポスターを見上げたことを覚えています。それは、リスクと不確実性をナビゲートするために専門的に雇用されていた人々によって作成された、2010年の「中東の政治的リスクマップ」でした。安全で安定した国は緑色で塗られていました。2011年初頭に私がその地図を見上げると、地図上のすべての緑色の地域が現在、革命または戦争の真っ只中で、炎上していることに気づきました。
ここに、答えられない、重要な質問があります。元の理論が間違っていたのでしょうか？それとも、世界が変わったのでしょうか？
カダフィとムバラクは最初から脆弱で、私たちが彼らを誤解し、過大評価していたということも考えられます。しかし、別の説明もあります。おそらく、アラブの春は、中東の独裁政治の機能の仕方を変えたのでしょう。かつては弾力性があったものが、脆くなったのです。私たちはこれらの物理的な世界の変化を受け入れます。ハンマーで叩かれた水が打撃を吸収し、ほとんどが元の状態に戻るのと同じように、それを凍らせると、ハンマーの打撃による損傷が目に見えるようになり、氷に刻み込まれて持続します。水が変化したので、その特性の理論も変化しなければなりません。おそらく、中東の独裁政治の理論は、少なくとも冷戦時代から2010年頃まで正しかったのでしょう。それから、世界は根本的に異なる場所になったのです。誰にもわかりません。確実に言うことは不可能です。理論には有効期限はありません。
しかし、社会理論が何かを間違えていると結論づけるとき、多くの人はその理論が最初から間違っていたと仮定します。それは間違いです。社会理論は化学の理論とは異なります。原始人が重曹と酢を混ぜ合わせることができれば、私たちと同じ泡を得ることができたでしょう。時間、空間、文化を超えたそのような永続的な安定は、社会力学には存在しません。代わりに、原因と結果のパターンがある状況でしばらく存在し、社会世界が変化してそのパターンが存在しなくなるまで存在することがあります。人間社会では、一部の因果関係は形を変えます。しかし、私たちは自分たちについて何か固定された真実があるかのように想像し、私たちが発見の瀬戸際にいるかのように錯覚する一方で、私たちの社会システムの実際の真実が常に変化し、私たちの理解を逃れていることを認識することができません。
私たちが住んでいるのが、ありうる一つの世界に過ぎないことを考えると、すべてがさらに不可解になります。もしあなたが、分岐する小道の庭の比喩を真剣に受け止めるなら、私たちの世界は明らかに、わずかな変更によって私たちがたどっていたかもしれない、無数の潜在的な道の枝分かれです。しかし、私たちには観察する地球が一つしかありません。それは、私たちが何が起こりそうで、何が起こりそうもないのかを知ることを不可能にします。特にまれで、重要な出来事については。
たとえば、2001年9月10日には、翌日に計画されていた攻撃が多数の人々を殺害することに成功する、未知の確率がありました。おそらく、テロリストは攻撃を成功させる可能性が5％だったでしょう。あるいは、おそらく彼らは95％の可能性を持っていて、ほぼ確実だったかもしれません。しかし、9/11が起こってしまったら、歴史を再生して、どちらだったのかを理解することはできません。なぜなら、私たちにはたった一つのデータポイントしかないからです。それは起こったのです。
確率の低い出来事が起こることもあれば、確率の高い出来事が起こることもあります。しかし、ある出来事が一度しか起こらない場合、その出来事が必然だったのか、それとも奇妙な出来事だったのかを判断するのは困難です。コインの特性を理解するために、コインを投げ続けることはできますが、歴史を繰り返し実行することはできません。私たちの世界が、ありうるすべての世界の代表的なサンプルなのか、それとも狂った異常値なのか、10億分の1のビザロな現実なのかを、私たちは単純に知ることができません。観察する地球が一つしかないため、私たちが決して知り得ないことがいくつかあります。
2016年の大統領選挙におけるネイト・シルバーの予測に戻りましょう。彼は、ヒラリー・クリントンが勝利する可能性が71.4％であると予測しました。彼のウェブサイトで使用されているモデルは、世論調査の集計と、過去のパターンに基づいて選挙がどのように展開する傾向があるかについて、シルバーが持っている信念に基づいて含められた「基本」データと組み合わせたものです。シルバーは、世論調査が国民の態度を正確に捉えているかどうかを推定し、そのデータと厳密な一連の仮定に基づいてモデルを構築する、世界をリードする専門家です。しかし、彼は認識論的不確実性を予測することにおいては、私たちと何ら変わりありません。つまり、高度に偶発的な出来事（外国政府が政治データサーバーをハッキングするかどうかとか、性的暴行者の政治家の無関係なコンピューターファイルが、FBI長官ジェームズ・コミーに選挙の数日前に連邦捜査を再開させるかどうかなど）を予測するために、未来を見つめることにおいては、私たちと変わりません。しかし、シルバーの分析はすべて、統計的に非常に洗練されており、数千のシミュレーションを使用して自分の主張を証明しているため、ハードサイエンスの外観を備えています。しかし、何千もの選挙はありません。選挙はたった一つです。それは本質的に不確実です。トランプが勝利したという、私たちが経験した結果が、平均的な結果なのか、極端な異常値なのか、またはその中間なのかを、私たちは知ることができません。なぜなら、歴史をやり直すことができないからです。コイントスで表が出る根本的な確率が約50％であることを知るには、コインを何度も投げて結果を観察するだけです。しかし、もしあなたが一度トスして裏が出たという事実しかない場合、コインが公平なのか、偏っているのかを判断できますか？明らかにできません。しかし、高度に特殊な状況における一回限りの出来事について、私たちはあまりにも頻繁にその判断をしようとして、失敗するのです。
クリントンが負けたとき、シルバーは自分のモデルを擁護として示しました。71.4％は100％ではありません！モデルではクリントンが負ける可能性が30％近くあったので、モデルは間違っていませんでした。それは3分の1近くの確率で起こるだけの出来事だったのです！私たちが間違っていたと言うなら、あなたは数学を理解していません！これは明らかな疑問を提起します。ネイト・シルバーのモデルは、その選挙で「間違って」いたことがあったのでしょうか？モデルが低い確率で何かを予測し、それが起こった場合、それは世界がおかしいだけであり、モデルが間違っているわけではありません。それは反証不可能であり、反論することができません。そして、反論することができないとき、私たちは慣習に縛られ、私たちの世界に関する誤解は着実に悪化します。
さて、ここでまだ対処すべき疑問が残っています。もし秩序だった個人主義、直線的な関係、大きな原因が大きな結果をもたらすという、古い物語的な世界観がそれほど間違っているとしたら、なぜそれは存続するのでしょうか？もしそれがそれほど間違っているのなら、より良く、より正確なものに置き換えられているはずですよね？
科学がどのように機能するはずかを理解するために、バスケットボールとローイングの違いを考えてみましょう。ゲームで50点を獲得できるプレーヤーのような、一人の並外れたスターがいるバスケットボールチームは、チームの一人のプレーヤーが役に立たなくても勝つことができます。クリス・アンダーソンとデビッド・サリーの言葉を借りれば、それはバスケットボールをストロングリンク問題にします。あなたの最も強いリンクが本当に強ければ、弱いリンクを持っても大丈夫なのです。スポティファイもストロングリンク問題の別の例です。スポティファイには何百万ものひどい曲があっても、あなたが最も好きな曲があれば、あなたはまだ満足できるでしょう。弱いリンク、つまりあなたが決して聴かないひどい曲は、音楽プラットフォームとしての有効性を損ないません。ストロングリンク問題を改善するには、悪いものを無視して、最高のものをより良くすることに集中できます。
ローイングはまったく逆です。スピードは同期、バランス、タイミングの関数です。8人の漕ぎ手と1人のコックスがいるクルーでは、たった一人の漕ぎ手が少しでもずれると、ボートが左右に揺れ始め、オールが水面を叩き、抵抗が生じます。クルーは負けます。彼らは最悪のアスリートと同じくらいしか良くありません。それはローイングをウィークリンク問題にします。ウィークリンク問題はいたるところに潜んでいます。心理学者のアダム・マストロヤンニの言葉を借りれば、「たとえば、食品の安全性はウィークリンク問題です。あなたを殺す可能性のあるものは何も食べたくないでしょう…自動車エンジンはウィークリンク問題です。トランスミッションが壊れていたら、スパークプラグがどれほど優れていても意味がありません」。ウィークリンク問題を解決するには、最高の部分に焦点を当てることはできません。最も弱いリンクを取り除く必要があります。
マストロヤンニが指摘するように、科学はストロングリンク問題です。社会を変えるのは最高の発見であり、多くの偽の泥が低レベルの学術ジャーナルを詰まらせても、それほど問題ではありません。原子を分割する方法について、多くの人々がばかげたアイデアを持っていました。しかし、必要なのは一つのアイデアだけだったので、それは問題ではありませんでした。
ストロングリンク問題であることに加えて、科学は適者生存の領域です。科学は理論に酸性テストを行います。ある時点でそれらは機能しなくなり、私たちはその理論が反証されたと結論づけることができます。多くの愚か者は、地球が平らであると今でも信じていますが、それは私たちが宇宙探査を行う能力に影響を与えません。なぜなら、重要なのは弱いリンクではなく、ストロングリンクだからです。したがって、科学は進歩のエンジンです。なぜなら、それはストロングリンク問題を、通常は時間の経過とともにストロングリンクをより強くする進化的な圧力と組み合わせているからです。弱いアイデアは最終的には死に、科学史の灰の山に追いやられます。強いアイデアは生き残り、人間の進歩を推進します。
原則として、同じダイナミクスが社会理論にも適用されるはずです。実際にはそうではありません。残念ながら、それが誤った考え方に永続性を与えています。物理学では、ごくわずかなエラーでさえ、アイデアが拒否され、より良いものに置き換えられるのに十分であることがよくあります。それは社会理論ではまったく当てはまりません。IMFは景気後退を正確に予測できなかったことを思い出してください。しかし、同じ経済モデルが支配し続けています。最も裕福な人々の税金を削減すると、経済成長が大幅に急増するという考えのように、驚くほどひどい実績のある理論でさえ、何十年も持続する驚くべき能力を持っています。社会理論を反証することは困難です。ある程度の確率で正解していれば、通常、人々がその理論を信じ続けるには十分です。そのため、金とガラクタを区別するのが難しくなります。その結果、ガラクタは収集されて運び去られることがありません。
理論が失敗したように見える場合でも、それが反証されたと結論づけることは不可能です。その国は単なる異常値だったのかもしれません。経済が別の理由で落ち込んだのかもしれません。社会の複雑さとイデオロギーは、自然科学で起こるより