Chapter Content
아, 여러분, 안녕하세요. 음… 오늘 좀 엉뚱하게 들릴 수도 있는데, 제가 여러분을 설득하고 싶은 이야기가 있어요. 뭔 얘기냐면, 흔히들 “그거, 뭐 그렇게 어려운 것도 아니잖아, 마치 로켓 과학처럼.” 이런 말 많이 쓰잖아요. 근데 사실은 “그거 사회과학만큼 어려운 것도 아니잖아.” 이렇게 말하는 게 훨씬 더 맞는 표현이라는 거죠. 이게 말이 되는 소리냐 싶겠지만, 한번 들어보세요.
아니, 천재들이 로켓 과학 문제도 풀고, 사회과학 문제도 풀려고 애쓰고 있잖아요. 근데, 있잖아요, 로켓 과학자들도 인정할 거예요. 행성이나 달 같은 거, 그 움직임 예측하는 거, 그거 80억 명이나 되는 사람들이 얽히고설킨 복잡한 사회 시스템 안에서 장기적인 예측을 하는 거에 비하면, 진짜 식은 죽 먹기라는 거죠.
근데 또 웃긴 게, 우리가 세상을 이해하는 방식이 좀… 좀 많이 부족하거든요? 근데 그 부족한 이해를 바탕으로 세상이 굴러가고 있다는 거예요. 예산 짜고, 세금 매기는 것도 결국 경제 전망에 따라서 결정되는데, 그 경제 전망이라는 게 단기적으로나 좀 맞지, 장기적으로는 거의 안 맞잖아요. 전쟁을 할지 말지 결정하는 것도 주관적인 위험 평가에 따라서 결정되는데, 나중에 보면 그 평가가 완전히 엉터리였다는 게 드러나고. 기업들도 수십억 달러씩 투자하면서 미래 트렌드를 예측하는데, 그 예측이 또 틀리고.
우리가 세상을 살아가는 방식이, 우리가 상상하는 것과는 좀 다르다는 걸 알 수 있어요. 근데 왜 이렇게 엉터리 같은 이미지가 계속 남아있느냐? 그건 사회 조사라는 걸 통해서 계속 되풀이되기 때문이에요. 경제학, 정치학, 사회학 분야의 현대판 점쟁이들은, 우리가 마치 동화책에서나 볼 법한 세상을 자꾸 만들어내는 거죠. 중요한 변수들은 그냥 "노이즈" 취급해버리고. 우리가 우리 자신을 이해하려고 할 때, "X가 Y를 일으키는가?" 이런 식으로 단순한 인과 관계만 찾으려고 하잖아요. 그러다 보니까 우연이나 복잡성이 얼마나 중요한 역할을 하는지 자꾸 간과하게 되는 거죠.
근데 조지 박스라는 통계학자가 "모든 모델은 틀렸지만, 유용한 모델도 있다"고 했잖아요. 근데 우리는 너무 자주 그 교훈을 잊어버려요. 지도를 현실이랑 착각하는 거죠. 우리의 단순한 표현 방식이 세상을 정확하게 묘사하고 있다고 잘못 생각하는 거예요. 여러분, "새로운 전망에 따르면..." 아니면 "최근 연구 결과에 따르면..." 이런 기사 얼마나 많이 봤어요? 근데 거기에 숨겨진 가정이나 방법론은 제대로 살펴보지도 않고 그냥 믿어버리잖아요. 사회 조사는 불확실한 세상을 헤쳐나가는 데 정말 중요한 도구예요. 진짜 도움도 많이 되고요. 하지만 우리가 비싼 대가를 치르거나, 심지어 끔찍한 실수를 저지르지 않으려면, 우리가 우리 자신에 대해 얼마나 알고 있는지, 또 얼마나 모르는지를 정확하게 인식해야 돼요. 그래야 복잡하고, 우연과 변수가 판치는 세상을 제대로 헤쳐나갈 수 있는 거죠. 이제 솔직해져야 돼요. 우리가 확실하게 아는 게 별로 없다는 것을 인정해야 해요. 사회 조사의 세계를 잠깐 들여다보고, 어떻게 "소시지"가 만들어지는지 한번 살펴볼 필요가 있는 거죠.
이 문제를 크게 두 가지로 나눌 수 있어요. 저는 이걸 "사회 조사 쉬운 문제"와 "사회 조사 어려운 문제"라고 부르는데요. 쉬운 문제는 엉터리 같은 방법론 때문에 생기는 문제예요. 이건 해결할 수 있어요. 고칠 수 있다는 거죠. 반면에 어려운 문제는 인간의 실수나 잘못된 방법론 때문이 아니라, 인간 행동과 관련된 불확실성 때문에 생기는 문제예요. 이건 아마 해결 불가능할 거예요.
자, 뭐가 쉽고 뭐가 어려운지 한번 살펴볼까요?
한 10년 전에요, 대럴 벰이라는 유명한 사회 심리학자가 있었어요. 이 사람이 초능력, 그러니까 ESP가 진짜인지 아닌지 한번 실험해보기로 한 거예요. 벰이 뭐 이상한 사람은 아니었어요. MIT에서 물리학 공부하고, 미시간 대학교에서 박사 학위 받고, 하버드, 스탠퍼드, 코넬 대학교에서 가르친 사람이에요. 벰은 표준적인 연구 방법론을 사용해서 여러 가지 실험을 했어요. 예를 들어서, 참가자들한테 화면에 커튼 두 개를 보여주고, 그중에 어떤 커튼 뒤에 선정적인 사진이 숨겨져 있는지 맞춰보라고 하는 거죠. 근데 놀랍게도, 참가자들이 무작위로 찍는 것보다 훨씬 더 많이 맞추는 거예요. 더 놀라운 건, 커튼 뒤에 있는 사진이 선정적이지 않으면, 그런 예측 능력이 사라진다는 거죠. 이 결과는 통계적으로 유의미하다는 것도 확인이 됐어요.
벰은 이 초자연적인 능력을 설명할 만한 그럴듯한 이유를 찾지 못했어요. 왜 참가자들이 선정적인 사진을 더 잘 예측하는지, 그것도 설명하지 못했고요. 하지만 벰은 통계적으로 분석한 결과, 자신의 의심대로, 일부 사람들은 미래를 "느낄" 수 있다는 결론을 내렸어요. 벰의 2011년 연구 결과는 표준적인 동료 평가 과정을 거쳐서, 그 분야 최고 학술지 중 하나인 "Journal of Personality and Social Psychology"에 실렸어요. 진짜 난리가 났었죠. 언론에서도 엄청 관심을 가졌고요. 벰은 TV 쇼에도 출연하면서 완전 승승장구했어요.
하지만 모두가 다 믿은 건 아니었어요. 스튜어트 리치, 리처드 와이즈먼, 크리스토퍼 프렌치 같은 연구자들이 독립적으로 그 결과를 재현하려고 시도했어요. 근데 똑같은 실험을 해봤더니, 아무도 미래를 "느낄" 수 없었던 거예요. 벰의 연구 결과가 진짜가 아닐 수도 있다는 강력한 증거가 나온 거죠. 근데 이 연구자들이 벰의 주장에 반박하는 논문을 발표하려고 했더니, 아무도 받아주려고 하지를 않는 거예요. 이미 연구된 내용을 왜 또 반복하느냐는 거죠. 겨우겨우 동료 평가를 받게 됐는데, 첫 번째 심사위원은 그들의 연구를 극찬했지만, 두 번째 심사위원이 논문을 거부하면서, 발표 기회는 완전히 날아가 버렸어요. 그 두 번째 심사위원이 누구였냐고요? 바로 대럴 벰이었던 거죠.
결국, 벰의 "발견"에 반박하는 새로운 연구가 발표되기는 했어요. 근데 이게 사회 조사, 특히 사회 심리학 분야에서 오랫동안 묵혀왔던 문제를 터뜨리는 계기가 됐죠. 그게 바로 "재현 위기"예요. 연구자들이 기존의 연구, 그러니까 이미 상식으로 받아들여지던 연구 결과를 다시 실험해봤더니, 결과가 다르게 나오는 거예요. 2015년에 발표된 한 연구에서는, 유명 심리학 학술지에 실린 영향력 있는 실험 100개를 재현하려고 시도했는데, 36개만 통과했어요. 기존 주장이 틀렸다는 게 밝혀진 거죠. 우리가 알고 있다고 생각했던 많은 것들이 사실은 틀렸던 거예요. 이 방법론적인 지진은 기존의 믿음에 대한 우리의 신뢰를 완전히 흔들어놨어요. 그리고 끔찍한 질문을 던졌죠. "우리가 또 뭘 잘못 알고 있는 걸까?"
몇몇 연구자들은 사회 시스템이 얼마나 망가졌는지 보여주려고, 일부러 말도 안 되는 주장을 발표하려고 시도했어요. 예를 들어서, 비틀즈의 "When I'm Sixty-Four"라는 노래를 들으면 사람들이 더 젊어진다는, 통계적으로 유의미한 결과를 만들어내는 데 성공했어요. 기분만 젊어지는 게 아니라, 실제로 더 젊어진다는 거예요. 또 다른 연구에서는, 여성들이 2008년 미국 대통령 선거에서 배란기에 투표하면 버락 오바마를 더 많이 찍을 확률이 높다는 결과도 나왔어요. 이 "결과"들은 인정된 방법론을 따랐고, 표준적인 통계적 기준도 통과했어요. 도대체 무슨 일이 일어나고 있는 걸까요?
안타깝게도, 사회 조사 연구자들은 잘못된 연구 방법을 사용하거나, 심지어 시스템을 조작하는 경우가 종종 있어요. 이게 저처럼 사회과학자로 일하는 사람이나 걱정하는 문제처럼 보일 수도 있겠죠. 하지만 사회 조사가 어떻게 이루어지는지, 그 모든 문제점을 이해하는 건 우리 모두에게 중요한 일이에요. 왜냐하면 사회 지도자들이 의사 결정을 내릴 때, 바로 이런 정보를 바탕으로 하는 경우가 많기 때문이죠. 사회 조사의 어두운 면을 드러내는 건, X가 항상 Y를 일으키고, 우연은 중요하지 않다는 기존의 잘못된 생각, 그러니까 동화책 같은 세상을 바로잡는 데 도움이 돼요. 그리고 이런 문제점을 이해하면, 새로운 "결과"를 접했을 때, 건강한 의심을 품고 평가할 수 있는 능력을 갖게 될 거예요.
죄송하지만, 지금부터는 조금 복잡한 이야기를 해야 할 것 같아요. 조금만 참아주세요. 우리가 왜 그렇게 자주 틀리는지 이해하는 건 정말 중요한 일이에요. 정치학, 경제학, 사회학, 심리학 등에서 수행되는 대부분의 연구는 "P값"이라는 정량적인 지표를 만들어내요. 제가 여기서 수학적인 세부 사항은 좀 생략할 건데요, 이 P값은 사회 조사 연구자들이 어떤 연구 결과가 "진짜"인지, 아니면 아무것도 발견하지 못한 "영 가설"인지 판단하는 데 사용하는 지표예요. P값이 충분히 낮으면, 연구자들은 그 결과가 진짜일 가능성이 높다고 해석하는 경향이 있어요. 이걸 "통계적으로 유의미하다"라고 표현하죠. 연구 커뮤니티에서는 P값이 0.05 미만이면 발표할 수 있다는 데 대부분 동의하고 있어요. 실제로 P값이 0.051인 연구는 발표되지 못하는 반면에, P값이 0.049인 연구는 발표될 가능성이 높다는 거죠.
로널드 코즈라는 노벨 경제학상 수상자는 이렇게 말했어요. "데이터를 충분히 고문하면, 자백하게 될 것이다."
이런 P값 기준은 연구자들에게 끔찍한 유인을 제공해요. 왜냐하면 논문 발표가 승진, 연구비 지원, 그리고 경력 개발과 연결되기 때문이죠. 연구자들이 논문을 발표하기에 충분히 낮은 P값을 얻기 위해서 데이터 분석을 조작하는 걸 "P-해킹"이라고 불러요. 이건 현대 연구의 골칫거리이고, 우리가 세상을 잘못 이해하도록 만드는 원인이 되기도 하죠.
유명 학술지에 실린 논문을 분석한 결과, 발표 기준 바로 아래에 해당하는 P값을 가진 논문의 수가 엄청나게 많다는 사실이 발견됐어요. 이건 발표되는 연구가 P값 기준에 따라서 왜곡되고 있다는 강력한 증거죠. 벰의 초능력 연구에서 시작된 재현 위기는 P-해킹의 실체를 폭로하는 데 큰 역할을 했어요. 하지만 안타깝게도 P-해킹을 막는 데는 별다른 영향을 주지 못했어요. 경제학자들이 재현 위기 이후에도 유명 경제학 학술지 25곳의 데이터를 분석해봤더니, 특정 연구 방법을 사용한 결과의 최대 4분의 1이 잘못된 데이터 해석과 P-해킹의 증거를 보여줬다고 해요. 이건 우리가 세상을 바라보는 방식에 영향을 미치는 연구의 상당 부분을 차지하는 거죠. 이렇게 조작된 연구들은 단순한 인과 관계를 보여주면서, 현실을 왜곡해서 보여줘요.
또 "서랍 속의 파일 문제"라는 것도 있어요. 제가 여러분한테 동전을 10번 던져보라고 하면, 8번 이상 앞면이 나올 확률은 약 5% 정도 돼요. 근데 동전 던지기를 20번 반복하면, 적어도 한 번은 8번 이상 앞면이 나올 가능성이 높겠죠. 만약 여러분이 8번 앞면이 나올 때까지 동전 던지기를 계속 반복하기로 했다고 상상해 보세요. 드디어 8번 앞면이 나오면, 여러분은 놀라운 결과에 감탄하면서 친구한테 자랑하겠죠. "내가 동전을 10번 던졌는데 8번이나 앞면이 나왔어! 진짜 신기하지 않아?" 친구의 감탄을 더 끌어내기 위해서, 여러분은 그전에 얼마나 많이 실패했는지 말하지 않겠죠.
이제 똑같은 논리를 연구자들이 ESP나 초능력을 증명하려고 할 때 적용해보세요. 19명의 연구자가 실험을 했는데 아무것도 발견하지 못했어요. 아무 결과도 없고, 발표도 못 하겠죠. 그들은 조용히 결과를 서랍 속에 처박아두고, 다시는 꺼내보지 않아요. 그러다가 순전히 우연히, 20번째 연구자가 그 분야에서 일반적으로 사용되는 통계적 기준을 통과하는 놀라운 결과를 "발견"하는 거죠. 신이 나서 논문을 발표하려고 하고, 통계적 기준을 통과했기 때문에 동료 평가도 통과하고, 발표되는 거예요. 19개의 실패한 실험은 서랍 속에 처박혀서 아무도 볼 수 없게 되죠. 오직 "성공적인" 실험 하나만 눈에 띄게 되고, 사람들은 그 효과가 진짜라고 믿게 되는 거예요. 그게 바로 서랍 속의 파일 문제예요.
만약 20명의 연구자 중에서 19명이 아무런 결과를 찾지 못했다는 사실을 알았다면, 그 "발견"에 의문을 제기하겠죠. 하지만 그 19개의 연구는 발표되지 않고, 서랍 속에서 먼지만 쌓이고 있기 때문에, 여러분은 그 존재조차 알 수 없는 거예요. 서랍 속의 파일 문제는 현실을 실제보다 더 정돈된 것처럼 보이게 만들어서, 우리의 이해를 왜곡하는 해로운 형태의 출판 편향을 만들어낼 뿐만 아니라, 연구자들이 원인과 결과 사이의 관계를 밝히지 못하거나, 잘못된 연구를 반박하는 것보다 "긍정적인" 결과를 만들어내는 연구에 집중하도록 강요해요. 나중에 틀렸다는 게 밝혀진 대담한 주장을 한 연구자들은 여전히 유명하지만, 그걸 반박한 사람들에 대해서는 들어본 적도 없을 거예요.
안타깝게도, 나쁜 연구는 좋은 연구만큼이나 영향력이 커요. 2020년에 발표된 한 연구에 따르면, 재현에 실패한 연구(즉, 가짜일 가능성이 높은 연구)는 반복 연구를 통해 독립적으로 검증된 연구와 동일한 비율로 인용된다고 해요. 이런 연구상의 결함은 종종 너무나 뻔히 드러나요. 한 연구에서는 전문가들에게 논문을 읽게 한 다음, 어떤 연구가 재현 테스트를 통해 확인될지, 그렇지 않을지에 대해 베팅하게 했어요. 압도적으로 그들의 베팅은 성공했어요. 그들은 터무니없이 좋은 결과를 한눈에 알아볼 수 있었던 거죠. 미국의 비밀 국방 연구 기관인 DARPA는 사회 조사에 대한 "헛소리 탐지기"를 개발하는 데 자원까지 투입했고, 어느 정도 성공을 거두기도 했어요. 하지만 꽤 쉽게 알아볼 수 있음에도 불구하고, 여전히 많은 나쁜 연구가 발표되고 있어요. 그리고 학자들이 서로의 연구를 검토해서 출판할 가치가 있는지 판단하는 동료 평가 시스템 자체도 망가진 시스템이에요. 한 연구에서는 연구 논문에 심각한 결함을 의도적으로 심어놓고, 동료 평가자들이 얼마나 많이 잡아낼 수 있는지 알아봤어요. 결과가 어땠을까요? 4개 중 1개만 잡아냈다고 해요.
이런 문제들은 기존의 동화책 같은 세계관과 직접적으로 연결된 문제들 위에 덧씌워져 있어요. 예를 들어서, 엄청나게 많은 연구가 여전히 우리가 원인과 결과의 크기가 비례하는 선형적인 세상에 살고 있다고 상상해요. 하지만 우리가 계속해서 봐왔듯이, 그건 세상을 이해하는 잘못된 방식이에요. 하지만 널리 사용되는 많은 정량적 모델은 여전히 그런 세상이 존재한다고 상상해요. 왜냐고요? 정량적 사회 과학은 대부분 1980년대와 1990년대에 등장했는데, 그때는 컴퓨팅 파워가 비싸고 덜 정교했기 때문이에요. 하지만 엉뚱한 고정 관념 때문에, 그런 세상을 바라보는 방식이 계속 유지되고 있고, 지금도 대부분의 사회 조사 분야를 지배하고 있어요. 지금은 훨씬 더 정교한 모델링이 가능한데도 말이죠.
복잡계 과학, 그러니까 복잡 적응 시스템의 논리를 이용해서 세상을 이해하려는 연구자들은 안타깝게도 현대 연구 생산의 아주 작은 부분만을 차지하고 있어요. 우리는 세상이 실제와 다르다는 걸 알면서도, 마치 세상이 그런 것처럼 행동하고, 그 때문에 사회를 운영하는 데 심각하고 피할 수 있는 오류를 범하고 있는 거죠.
자, 경솔한 독자들은 이런 비판을 듣고 사회 조사가 쓸모없고, 무의미하고, 절망적으로 결함이 있다고 잘못 결론 내릴 수도 있어요. 하지만 그건 아니에요. 우리는 과거보다 훨씬 더 잘 세상을 헤쳐나가고 있어요. 왜냐하면 우리 자신을 연구하는 학문 분야에서 중요한 발전이 있었기 때문이죠. 사회과학 대학원생들은 P-해킹의 위험성에 대해 경고를 받고, 일부 학술지에서는 서랍 속의 파일 문제를 해결하기 위한 노력을 기울이고 있어요. 투명성도 상당히 높아졌고요. 경제학자나 정치학자들이 가끔 틀린다고 해서 경제학과 정치학을 포기해야 하는 건 아니에요. 오히려 사회 조사의 쉬운 문제를 해결하기 위해서 열심히 노력해야 하는 거죠. 그리고 그건 해결할 수 있어요.
하지만 제가 두려워하는 건, 해결할 수 없는 어려운 문제예요.
여기서부터는 모든 게 상당히 혼란스러워져요. 그리고 겉으로는 무작위적으로 보이는 "노이즈"가 우리가 생각하는 것보다 훨씬 더 중요하다는 게 분명해지죠. 몇 년 전에 독일과 영국의 사회과학자들이 새로운 시도를 하기로 했어요. 연구를 아웃소싱해서 오랫동안 학자들과 대중을 갈라놓았던 질문에 답하려고 한 거죠. 이민자가 더 많이 들어오면, 유권자들이 사회 안전망에 대한 지지를 덜 보내게 될까요? 이민자 유입이 실업 수당 같은 사회 복지 프로그램에 대한 반발을 불러일으킬까요? 그 질문은 분명히 중요하지만, 지금까지의 증거는 엇갈려요. 어떤 연구에서는 그렇다고 하고, 다른 연구에서는 아니라고 하죠. 연구자들이 여러 연구팀에게 똑같은 데이터를 주고 똑같은 질문을 하면 어떤 일이 일어날까요? 똑같은 답을 얻을 수 있을까요?
76개 연구팀이 참여했어요. 서로 소통하지 않고, 집단 사고에 굴복하지 않도록 주의했죠. 대신에 각자 자신의 방식으로 데이터에 숨겨진 패턴을 해독하려고 애썼어요. 연구가 끝났을 때, 76개 팀은 이민이 사회 복지 프로그램에 대한 지지에 미치는 영향을 추정하기 위해서 1,253개의 수학적 모델을 만들어냈어요. 모델은 단 하나도 똑같지 않았죠. 각 연구팀은 약간씩 다른 접근 방식을 취했어요.
그들이 발견한 것은 정말 놀라웠어요. 완전히 엇갈린 결과가 나온 거죠. 연구자의 절반 이상이 이민 수준과 사회 안전망에 대한 공공 지원 사이에 명확한 연결 고리가 없다는 것을 발견했어요. 하지만 나머지 팀들은 거의 반반으로 나뉘어서, 이민이 사회 안전망에 대한 지원을 약화시킨다는 것을 발견한 팀도 있었고, 정반대의 결과를 발견한 팀도 있었어요. 약 4분의 1의 모델은 "그렇다"고 말하고, 약 4분의 1은 "아니다"고 말하고, 절반은 "여기에는 아무것도 없다"고 말하고 있었던 거죠.
무슨 일이 일어났는지 알아내기 위해서, 연구자들은 각 팀의 방법론적 결정을 주의 깊게 조사했어요. 하지만 방법론적 선택은 결과의 변동의 약 5% 정도밖에 설명하지 못했어요. 나머지 95%는 설명할 수 없는 암흑 물질이었던 거죠. 아무도 설명할 수 없었어요. 연구자들은 "가장 사소해 보이는 [방법론적] 결정조차도 결과를 다른 방향으로 이끌 수 있으며, 이러한 미세한 부분에 대한 인식이 있어야만 생산적인 이론적 논의나 경험적 검증으로 이어질 수 있다"는 결론을 내렸어요. 가장 작은 결정이 큰 차이를 만들어낸다는 거죠. 그건 없앨 수도 없고, 더 나은 수학으로 해결할 수도 없는 피할 수 없는 어려움을 만들어내요. 어려운 문제의 일부는 우리가 "불확실성의 세계"에 살고 있다는 데 있는 거죠.
대부분의 경우 76개 연구팀이 특정 질문에 답하도록 배정되지는 않아요. 거의 항상 연구자 한 명, 아니면 소규모 그룹이 세상에 대한 질문을 해결하려고 노력하죠. 만약 이 질문이 단 한 명의 연구자나 연구팀에 의해서 질문되고 답변되었다면 어떤 일이 일어났을지 상상해보세요. 이민이 사회 지출에 대한 지원을 감소시킨다는 권위 있는 연구가 발표되었을 수도 있고, 이민이 사회 지출에 대한 지원을 증가시킨다는 연구가 발표되었을 수도 있겠죠. (이 실험은 각 연구 결과가 거의 동일한 가능성을 가지고 있다는 것을 보여줘요.) 그 외로운 연구는 언론 보도를 생성하고 이민에 대한 대중의 견해를 바꿨을 수도 있겠죠. 하지만 그 연구가 이민이 공공 지출에 대한 지원에 도움이 되었는지, 아니면 해로운지 말했는지는 장담할 수 없어요.
이제 연구가 개방되어 있고 각 팀이 질문에 답하기 위해 동일한 데이터를 사용하는 대신 자신이 선호하는 데이터를 선택할 수 있다면 어떻게 될까요? 모든 베팅은 무효가 되겠죠. 하지만 그게 일반적인 연구 방식이에요. 그게 어려운 문제의 또 다른 부분이죠. 우리는 똑같은 질문과 똑같은 데이터를 가지고 작업할 때조차도 무슨 일이 일어나고 있는지에 대해 동의할 수 없다는 거죠.
안타깝게도 어려운 문제는 여기서 끝나지 않아요. 헤라클레이토스가 우리에게 상기시켜줬듯이, 우리가 이해하려고 노력하는 세상이 끊임없이 변하고 있다면 어떻게 될까요? 예를 들어서 독재 연구를 생각해 보세요. 1990년대와 2000년대에 정치학자들은 독재를 설명하기 위해서 "권위주의적 내구성"이라는 개념을 개발했어요. 그 아이디어는 간단했어요. 어떤 종류의 독재는 무슨 일이 있어도 오랫동안 살아남는다는 거죠. 그 이론은 말이 됐어요. 데이터도 뒷받침했고요. 심지어 그 이론의 궁궐 포스터 보이도 있었어요. 특히 중동에 있었죠. 리비아의 무아마르 카다피, 튀니지의 벤 알리, 이집트의 호스니 무바라크 같은 끔찍한 폭군들이요. 그들의 회복력 있는 정권이 왜 그렇게 흔들리지 않는지에 대한 책들이 쓰여졌어요. 그 책들로 경력을 쌓은 사람들도 있었고요. 그 개념은 상식으로 받아들여지게 됐어요. 독재자들은 무자비할지 모르지만, 안정성을 만들어낸다는 거죠.
그러다가 2010년 말에 튀니지의 채소 장수가 몸에 불을 붙였어요. 곧 그 이론은 완전히 무너진 것처럼 보였죠. 포스터 보이들은 전복되고, 그들의 궁궐은 혁명의 선봉에 선 분노한 군중에 의해서 약탈당했어요. 몇 달 만에 벤 알리는 망명했고, 무바라크는 체포되었고, 카다피는 살해당했어요. 권위주의적 내구성은 분명히 크게 틀렸던 거죠. 그 주요 지지자들은 몰락하고 세계사에 대한 진단이 크게 잘못된 것으로 드러났어요. 하지만 상아탑에 있는 사람들뿐만 아니라 모두가 깜짝 놀랐어요. 제가 튀니지에서 현장 연구를 하기 직전에 박사 과정을 밟고 있을 때, 한 교수님의 사무실에 앉아서 그 주장을 증명하기 위해 벽에 걸어놓은 포스터를 올려다봤던 기억이 나요. 그건 2010년 중동의 "정치적 위험 지도"였는데, 위험과 불확실성을 헤쳐나가기 위해 전문적으로 고용된 사람들이 만든 지도였어요. 안전하고 안정적인 국가들은 초록색으로 칠해져 있었죠. 2011년 초에 그 지도를 올려다봤을 때, 지도에서 초록색으로 칠해진 모든 지역이 현재 혁명이나 전쟁으로 불타고 있다는 사실을 알게 됐어요.
여기서 중요한, 답할 수 없는 질문이 있어요. 원래 이론이 틀렸던 걸까요, 아니면 세상이 변한 걸까요?
카다피와 무바라크가 처음부터 연약했고, 우리가 그들을 잘못 이해하고 과대평가했을 가능성도 있어요. 하지만 다른 설명도 있어요. 아마도 아랍의 봄이 중동 독재 정권의 기능 방식을 바꿨을 수도 있다는 거죠. 한때 회복력이 있었던 것이 깨지기 쉬워진 거죠. 우리는 망치로 때린 물이 충격을 흡수하고 대부분 이전 상태로 돌아가지만, 얼려놓으면 망치질로 인한 손상이 눈에 띄게 되고 지속된다는 사실을 받아들여요. 물이 변했으니 그 속성에 대한 이론도 변해야겠죠. 아마도 중동 독재 정권에 대한 이론은 적어도 냉전 시대부터 2010년경까지는 맞았지만, 그 이후에는 세상이 근본적으로 다른 곳이 되었을 수도 있어요. 누가 알겠어요? 확실하게 말할 수 없죠. 이론에는 유효 기간이 없으니까요.
하지만 사회 이론이 뭔가 잘못되었다고 결론 내릴 때, 많은 사람들은 그 이론이 처음부터 틀렸다고 가정해요. 그건 실수예요. 사회 이론은 화학 이론과 같지 않아요. 만약 원시인들이 베이킹 소다와 식초를 섞을 수 있었다면, 우리와 똑같은 거품을 얻었을 거예요. 시간, 공간, 문화를 초월하는 그런 지속적인 안정성은 사회 역학에서는 존재하지 않아요. 대신에 원인과 결과의 패턴이 한동안 한 상황에서 존재하다가, 사회가 변하면 그 패턴이 사라지는 거죠. 인간 사회에서 일부 형태의 인과 관계는 모양을 바꿔요. 하지만 우리는 우리 사회 시스템의 실제 진실이 끊임없이 변하고, 바뀌고, 우리의 이해를 벗어난다는 사실을 인식하지 못한 채, 우리 자신에 대한 어떤 고정된 진실이 있다고 상상해요.
우리가 살고 있는 세상은 단 하나의 가능한 세상일 뿐이라는 점을 고려하면 모든 게 훨씬 더 혼란스러워져요. 만약 여러분이 "갈림길 정원"이라는 비유를 진지하게 받아들인다면, 우리의 세상은 분명히 수많은 잠재적인 경로에서 벗어난 결과일 거예요. 하지만 우리에게는 관찰할 수 있는 지구는 단 하나뿐이에요. 그렇기 때문에 우리는 무엇이 가능성이 높고 무엇이 가능성이 낮은지 알 수 없어요. 특히 드물고 중요한 사건의 경우에는 더욱 그렇죠.
예를 들어서 2001년 9월 10일에 다음 날 계획된 공격이 많은 사람을 죽이는 데 성공할 확률은 알 수 없었어요. 아마도 테러리스트들이 공격을 성공시킬 확률은 5%였을 수도 있겠죠. 아니면 거의 확실한 95%였을 수도 있겠죠. 하지만 9.11이 일어난 후에는 역사를 다시 돌이켜서 어떤 확률이었는지 알아낼 수 없어요. 왜냐하면 우리에게는 단 하나의 데이터 포인트, 즉 "일어났다"는 사실밖에 없기 때문이죠.
확률이 낮은 사건도 때로는 일어나고, 확률이 높은 사건도 때로는 일어나요. 하지만 어떤 사건이 단 한 번만 일어난다면, 그 사건이 필연적인 일이었는지 아니면 기이한 일이었는지 알기가 어려워요. 동전의 속성을 이해하기 위해서 동전을 계속 던져볼 수는 있지만, 역사를 계속 다시 쓸 수는 없잖아요. 우리는 우리의 세상이 가능한 모든 세상의 대표적인 표본인지, 아니면 완전히 미친 세상인지 알 수 없어요. 관찰할 수 있는 지구는 단 하나뿐이기 때문에, 우리는 결코 알 수 없을 수도 있는 것들이 있는 거죠.
2016년 미국 대통령 선거에서 네이트 실버의 예측으로 돌아가 봅시다. 그는 힐러리 클린턴이 승리할 확률이 71.4%라고 예측했어요. 그의 웹사이트에서 사용한 모델은 여론 조사와 실버가 과거 패턴에 근거해서 선거가 어떻게 진행될지에 대한 믿음을 바탕으로 포함시킨 "기본 데이터"를 결합한 거예요. 실버는 여론 조사가 대중의 태도를 정확하게 파악하고 있는지 추정하고, 그 데이터를 엄격한 가정을 바탕으로 모델로 만드는 데 세계 최고의 전문가예요. 하지만 그는 인식론적 불확실성을 예측하는 데 있어서는 우리와 별반 다를 게 없어요. 예를 들어서 외국 정부가 정치 데이터 서버를 해킹할지, 아니면 성범죄자 정치인의 컴퓨터 파일 때문에 FBI 국장이 선거 며칠 전에 연방 수사를 재개할지 같은 예측하기 어려운 사건을 예측하는 거죠. 하지만 실버의 분석은 통계적으로 매우 정교하고 수천 번의 시뮬레이션을 사용해서 자신의 주장을 증명하기 때문에, 마치 과학처럼 보이죠. 하지만 선거는 수천 번 있는 게 아니잖아요. 단 한 번뿐이죠. 그렇기 때문에 본질적으로 불확실한 거예요. 우리는 트럼프가 이겼다는 결과가 평균적인 결과였는지, 극단적인 이상치였는지, 아니면 그 중간이었는지 알 수 없어요. 왜냐하면 역사를 다시 쓸 수 없기 때문이죠. 동전 던지기에서 앞면이 나올 확률이 약 50%라는 것을 밝히기 위해서 동전을 계속 던져보고 결과를 관찰할 수는 있어요. 하지만 동전을 한 번만 던졌는데 뒷면이 나왔다면, 그 동전이 공정한지 편향되어 있는지 알 수 있을까요? 분명히 알 수 없겠죠. 하지만 우리는 특정 상황에서 단 한 번 일어나는 사건에 대해서도 너무 자주 그런 판단을 내리려고 시도하고 실패해요.
클린턴이 패배했을 때, 실버는 자신의 모델을 변호하면서 이렇게 말했어요. "71.4%는 100%가 아니잖아요! 모델에서는 클린턴이 패배할 확률이 거의 30%나 있었기 때문에, 모델이 틀린 게 아니에요. 그냥 3분의 1 정도의 확률로 일어날 수 있는 일이 일어난 것뿐이에요! 우리가 틀렸다고 말하면, 당신은 수학을 이해하지 못하는 거예요!" 이건 명백한 질문을 제기해요. 네이트 실버의 모델은 그 선거에서 "틀릴" 수 있었을까요? 모델이 낮은 확률로 일어날 것이라고 예측했는데 실제로 일어났다면, 모델이 틀린 게 아니라 세상이 이상한 것뿐이죠. 그건 반증 불가능하고, 틀렸다는 것을 증명할 수 없는 거죠. 그리고 우리가 틀렸다는 것을 증명할 수 없을 때, 우리는 낡은 사고방식에 갇히게 되고, 세상에 대한 우리의 오해가 점점 더 심해지는 거예요.
이제 해결해야 할 또 다른 질문이 남아있어요. 만약 기존의 개인주의적이고, 선형적 관계, 그리고 큰 원인이 큰 결과를 낳는다는 세계관이 그렇게 틀렸다면, 왜 여전히 남아있는 걸까요? 만약 그렇게 틀렸다면, 더 나은, 더 정확한 무언가로 대체되었어야 하지 않을까요?
과학이 어떻게 작동하는지 이해하려면, 농구와 조정의 차이점을 고려해 보세요. 농구팀은 뛰어난 스타 선수 한 명, 즉 경기에서 50점을 득점할 수 있는 선수가 있으면 팀원 중 한 명이 쓸모없어도 이길 수 있어요. 크리스 앤더슨과 데이비드 샐리의 용어를 빌리자면, 농구는 "강한 연결 고리 문제"예요. 가장 강한 연결 고리가 정말 강하다면, 약한 연결 고리가 있어도 괜찮다는 거죠. 스포티파이도 강한 연결 고리 문제의 또 다른 예시예요. 스포티파이에 수백만 개의 형편없는 노래가 있어도, 여러분이 가장 좋아하는 노래가 있다면 여전히 만족할 수 있어요. 약한 연결 고리, 즉 여러분이 듣지 않는 형편없는 노래는 음악 플랫폼으로서의 스포티파이의 효과를 떨어뜨리지 않죠. 강한 연결 고리 문제를 개선하려면, 나쁜 부분을 무시하고 가장 좋은 부분을 더 좋게 만드는 데 집중하면 돼요.
조정은 정반대예요. 속도는 동기화, 균형, 타이밍에 달려 있어요. 8명의 조정 선수와 1명의 키잡이로 구성된 팀에서 단 한 명의 선수가 조금이라도 어긋나면, 배는 좌우로 흔들리고, 노는 물을 치면서 저항을 일으키게 돼요. 팀은 지게 되겠죠. 그들은 최악의 선수만큼만 잘할 수 있어요. 그게 바로 약한 연결 고리 문제예요. 약한 연결 고리 문제는 어디에나 숨어 있어요. 심리학자 아담 마스트로이안니의 말에 따르면, "예를 들어서 식품 안전은 약한 연결 고리 문제예요. 여러분은 여러분을 죽일 수 있는 건 먹고 싶지 않잖아요... 자동차 엔진은 약한 연결 고리 문제예요. 변속기가 고장났다면 점화 플러그가 아무리 좋아도 소용없죠." 약한 연결 고리 문제를 해결하려면, 가장 좋은 부분에 집중할 수 없어요. 가장 약한 연결 고리를 제거해야 하는 거죠.
마스트로이안니가 지적했듯이, 과학은 강한 연결 고리 문제예요. 사회를 변화시키는 것은 최고의 발견이고, 형편없는 쓰레기가 학술지를 막아도 별로 중요하지 않아요. 많은 사람들이 원자를 분열시키는 방법에 대한 어리석은 생각을 가지고 있었어요. 하지만 필요한 것은 단 하나의 성공적인 아이디어였기 때문에 아무런 문제가 되지 않았던 거죠.
과학은 강한 연결 고리 문제일 뿐만 아니라, 적자생존의 영역이기도 해요. 과학은 이론에 대한 엄격한 테스트를 수행해요. 어떤 시점에서는 작동하지 않게 되고, 우리는 그 이론이 틀렸다는 결론을 내릴 수 있어요. 많은 바보들이 여전히 지구가 평평하다고 믿고 있지만, 그건 우주 탐사에 아무런 영향을 미치지 않아요. 왜냐하면 중요한 것은 약한 연결 고리가 아니라 강한 연결 고리이기 때문이죠. 따라서 과학은 강한 연결 고리 문제와 진화적 압력이 결합되어 있기 때문에 발전의 엔진이에요. 약한 아이디어는 결국 사라지고 과학 역사의 쓰레기 더미에 버려지게 되죠. 강한 아이디어는 살아남아서 인류의 발전을 이끌어요.
원칙적으로는 사회 이론에도 똑같은 논리가 적용되어야 해요. 하지만 실제로는 그렇지 않아요. 안타깝게도 그 때문에 나쁜 아이디어가 오래 살아남게 되는 거죠. 물리학에서는 가장 작은 오차조차도 아이디어를 거부하고 더 나은 것으로 대체하기에 충분한 경우가 많아요. 사회 이론에서는 전혀 그렇지 않죠. IMF가 경기 침체를 정확하게 예측하지 못했지만, 여전히 똑같은 경제 모델이 지배하고 있다는 것을 기억하세요. 부유층에 대한 세금을 감면하면 경제 성장이 크게 촉진된다는 개념과 같이 놀라울 정도로 실적이 나쁜 이론조차도 수십 년 동안 지속되는 묘한 능력을 가지고 있어요. 사회 이론을 반증하기는 어렵죠. 이론을 믿는 사람들이 계속 믿기에는 가끔 맞는 것만으로도 충분해요. 그 때문에 금과 쓰레기를 구별하기가 더 어려워지는 거죠. 결과적으로 쓰레기는 수거되지 않고 치워지지도 않아요.
심지어 이론이 실패한 것처럼 보일 때조차도 그 이론이 틀렸다는 결론을 내릴 수 없어요. 그 나라가 단지 특이한 경우였을 수도 있죠. 경제가 다른 이유로 침체되었을 수도 있고요. 사회적 복잡성과 이념은 사회 연구가 자연 과학에서 일어나는 것보다 강력한 연결 고리를 만들어내는 것을 막아요. 잘못된 사회 이론이 끈질기게 살아남는 것은 모든 사람이 사회를 이해하는 데 전문가라고 느끼기 때문에 더욱 악화돼요. 하지만 양자 역학이나