슈퍼 예측 - 그들은 어떻게 미래를 보았는가

 

p.17

야구단을 운영하는 사람들은 특정 선수를 스카우트할 때 그 선수의 기록을 반드시 검토한다. 2번, 3번 꼼꼼히 확인하지 않고는 절대로 지갑을 열지 않는다. 팬들도 경기를 볼 때 스코어보드나 TV 화면 아래쪽에서 선수의 기록을 확인한다. 그런데 야구 경기보다 훨씬 중요한 결정을 내릴 때는 아무렇지도 않게 이런 무지를 당연히 여긴다. 적어도 예측하는 사람들에 관한 한은 그렇다.

 

p.26~27

우리는 아주 무기력한 한 사람의 행동이 우리 모두에게 다양한 방식으로 영향을 미치는 세계적 파급 효과의 물결 속에 살고 있다. 캔자스시티에 사는 어떤 여성은 튀니지와 아무런 연관이 없다고 생각할 것이다. 하지만 그녀가 화이트먼 공군기지 소속의 미 공군 항법사와 결혼했다면, 그래서 잘 모르는 튀니지 청년의 행동이 일으킨 저항 운동이 폭동으로 발전하여 독재자를 퇴위시키고 이어 리비아에 저항 운동을 일으켜 내란을 조성하게 되어 2012년 NATO의 개입으로 그녀의 남편이 트리폴리 상공에서 대공 포화를 피해 다니게 될 거라는 사실을 알게 된다면, 그녀도 그 사건에 그렇게 무심할 수는 없을 것이다. 이 정도는 어렵지 않은 연관성의 추리다. 이런 연관성은 알아내기 어려울 때가 많지만 주유소에서 우리가 내는 휘발유 값이나 저잣거리에서 벌어지는 해고처럼 우리 주변에서는 늘 이런 일이 얽히고설킨다. 그러니 브라질의 나비 한 마리가 텍사스의 화창한 어느 날과 도시 하나를 초토화시키는 토네이도의 차이를 만드는 세상에서, 누가 아주 먼 미래를 예측할 수 있다고 하는 건 터무니없는 발상일 것이다.

 

p.30

무언가에 대한 예측은 얼마나 먼 미래에 어떤 환경에서 무엇을 예측하려 하는가에 따라 달라진다.

 

p.33

"나는 인간의 조건을 개선하는 데 평가가 중요하다는 사실을 깨닫고 크게 놀랐다." 빌 게이츠는 그렇게 썼다. "인간은 분명한 목표를 정하고 그 목표를 향해 나갈 수 있는 수단을 찾았을 때 놀라운 진전을 이룰 수 있다. (중략) 아주 기본적인 수칙처럼 보이지만 사실 이런 기본이 지켜지지 않는 경우가 많다. 게다가 그 기본은 제대로 지키기가 얼마나 어려운지 알면 놀라지 않을 수 없다." 맞는 말이다. 그리고 예측에서 그런 기본이 좀처럼 지켜지지 않는다는 사실도 꽤나 의아한 일이다. 단순한 첫 단계, 그러니까 분명한 목표를 세우는 일조차 쉽게 지켜지지 않는다.

 

p.34

예측할 것은 많은데 엄정함은 놀라울 정도로 부족하기 때문에, 역설적으로 기회는 대단한 것이 된다. 그 기회를 붙잡기 위해 해야 할 일은 단 1가지다. 분명한 목표(정확성!)를 세우고 철저히 평가하는 것이다.

 

p.39

예지력을 가진 전문가와 다트를 던지는 원숭이 수준밖에 되지 않는 한심한 전문가를 가르는 것은 무엇일까? 슈퍼 예측가들에게 어떤 특별한 예지력이 있거나 다른 사람이 가지지 못한 정보를 그들이 가지고 있기 때문은 아니었다. 어떤 특별한 믿음을 가져서도 아니었다. 그들이 '무엇을' 생각하느냐의 문제는 중요하지 않았다. 다만 중요한 것은 그들이 '어떻게' 생각하느냐의 문제였다.

 

p.51

사람이 하는 일이 원래 그렇다. 우리는 너무 빨리 결정하고 너무 늦게 그 결정을 바꾼다. 이런 실수가 왜 나오는지 검토하지 않는다면, 실수는 계속 반복될 것이다. 이런 정체 현상은 몇 해씩 계속될 수 있다. 아니, 평생 갈 수도 있다. 의학의 길고 초라한 역사가 보여주듯이 그런 일은 몇백 년이고 지속될 수 있다.

 

p.57

의학에 부족한 것은 의심이었다. "의심은 두려워할 것이 아니다. 오히려 매우 가치 있는 것이다." 파인만은 그렇게 보았다. 의심은 과학을 추진시킨다.

 

과학자가 모른다고 말하면 그는 무지한 사람이다. 감을 잡았다고 말하면 확실히는 알지 못하는 것이다. 확신을 가지고 "틀림없이 이렇게 될 것이다"라고 말해도 아직 의심은 남아 있다. 과학을 추진시키려면 이런 무지와 의심을 인정하는 것이 무엇보다 중요하다. 의심이 있기 때문에 우리는 새로운 방향에서 새로운 개념을 들여다볼 생각을 하게 된다. 과학 발전의 속도는 관찰의 속도가 아니라 새로운 실험 대상을 찾아내는 속도다. 그것이 더 중요하다.

 

의학이 그렇게 오랜 세월 동안 비과학적인 모습으로 정체되었던 것은 의심과 과학적 엄정성이 없었기 때문이다.

 

p.61

코크란의 좌절은 그의 자서전에서 분명히 드러난다. 직관만으로는 확실한 결론을 내릴 수 없다는 사실을 왜 사람들은 모르는가? 실로 당혹스러운 현실이었다.

 

그러나 이런 회의주의적인 과학자도 별 수 없었다. 저명한 의사로부터 암세포가 온몸에 퍼져 살 날이 얼마 남지 않았다는 말을 들었을 때, 아치 코크란은 그 말을 묵묵히 받아들였다. "이는 단지 한 사람의 주관적인 판단일 뿐이다. 따라서 틀렸을 수도 있다. 그러니 병리학자의 소견이 나올 떄까지 기다려보겠다. 그런데 의사는 왜 병리학자의 말을 들어보지도 않고 내 근육을 도려낸거지?" 코크란은 이렇게 생각하지 않았다. 그는 의사의 결론을 사실로 받아들였고 죽을 준비를 했다.

 

확고한 결론을 내리기 위해서는 직관 이상의 그 무엇이 필요하다. 그것은 부인할 수 없는 사실이다. 그런데 왜 아무도 그런 직관에 저항하지 않았을까? 특히 그 전문가는 왜 코크란의 살을 도려내기 전에 병리학자의 소견을 기다릴 생각을 하지 않았을까? 코크란의 행동도 수수께끼다. 성급한 판단을 경계하라고 늘 강조하던 사람이 말기 암이라는 진단에 대해서는 왜 그렇게 성급하게 판단을 내렸을까?

 

p.64~65

직관적 판단의 결정적 특징은 판단의 근거가 되는 증거의 질에 관심을 갖지 않는다는 점이다. 직관적 판단은 그래야 한다. 시스템 1이 가까운 증거에 결함이 있는지 부적절한지 더 좋은 증거가 있는지 끊임없이 의심한다면, 그렇게 번개 같은 속도로 확실한 결론을 내놓을 수 없을 것이다. 시스템 1은 이용할 수 있는 증거를 믿을 만하고 충분한 것으로 받아들여야 한다. 이런 묵시적 가정은 시스템 1에는 너무 생생한 것이어서, 카너먼은 그런 가정에 볼품없지만 쉽게 잊히지 않는 홏칭을 붙였다. 'WYSIATI - What You See Is All There Is (보이는 것이 전부다)'.

 

p.71

누가 기후변화에 대해 물으면 우리는 이렇게 생각한다. "난 기후학 공부를 한 적이 없고 그런 쪽의 과학책도 읽지 않았어. 그래서 내가 아는 것을 근거로 대답하면 엉터리 답이 나오로 거야. 이런 걸 잘 아는 사람들은 기후학자들이지. 그러니 나는 '기후변화가 실제로 일어나고 있는가?'라는 질문을 '기후학자들은 기후변화를 현실로 받아들이는가?'라는 물음으로 대체할 거야." 보통 사람이 저명한 전문가로부터 말기 암이라는 진단을 받게 되면 그는 똑같은 의식적 미끼 상술에 걸려들어 의사의 말을 사실로 받아들이게 된다. 

 

p.82

발머의 예측을 자세히 따져보자. 핵심은 "의미 있는 시장점유율"이다. '의미 있다'는 것이 어느 정도인가? 발머는 이를 밝히지 않았다. 그리고 시장이라면 어떤 시장을 말하는가? 북미 시장인가? 세계 시장인가? 그리고 무엇을 파는 시장인가? 스마트폰인가 휴대전화 전체인가? 답하지 않은 이런 질문들이 문제를 복잡하게 만든다. 예측을 할 때 우선적으로 해야 할 일은 예측을 심사하는 것이다. 그러기 이해서는 예측이 의미하는 것에 대해 어떤 억측도 하지 말아야 한다. 예측의 정확도를 따지려면 예측에 어떤 모호한 부분도 있어서는 안 된다. 발머의 에측은 모호한 에측이다. 물론 그의 예측은 틀린 것처럼 보인다. 틀린 것 같은 기분이 든다. 틀렸다고 할만한 증거가 있다. 그러나 그의 예측이 정말로 틀렸는가? 의심할 여지가 없는가?

 

p.85~86

달러 가치가 얼마나 떨어져야 "화폐 가치의 하락과 인플레이션을 심화시킨다"라고 말할 수 있을까? 이 역시 분명하지 않다. 더구나 그 서한은 달러 가치의 하락과 인플레이션 상승을 "위험"이란 말로 표현하고 있다. 이는 뒤에 이어질 일에 대해 확실하게 말할 수 없다는 사실을 암시한다. 따라서 이런 예측을 글자 그대로 읽으면, 통화 가치 하락과 인플레이션이 뒤따를 수 있고 그렇지 않을 수도 있다는 뜻이 된다. 그렇다면 그런 일이 뒤따르지 않는다고 해도 그 예측을 틀리다고 할 수는 없을 것이다. 물론 서명자들은 그런 의미로 말한 것이 아니고 당시에 그 말을 들은 사람들도 그렇게 받아들이지 않았을 것이다. 그러나 그 서한에 적힌 실제 내용은 바로 그런 뜻이다.

 

이 사례에서 보듯 우리가 흔히 만나게 되는 예측에는 양면성이 있다. 예측은 똑똑한 사람들이 중요한 이슈를 이해해보려는 진지한 시도다. 시도의 의미는 분명해 보인다. 시간이 가면서 그들이 시도한 결과의 정확성도 분명히 드러나는 것 같아 보인다. 그러나 그렇지 않다. 모든 논쟁을 차치하고라도 이런 예측이 옳다 그르다 하는 것은 여러 가지 이유에서 불가능하다. 진실은 손에 잘 잡히지 않는 것, 그것이 진실이다. 

 

예측의 정확성을 판단하는 것은 생각보다 훨씬 어렵다. 수많은 경험을 통해 힘들게 얻은 교훈이다.

 

p.96

 

p.100~101

예측을 하려면 조건과 설정 기간을 명확하게 규정해야 한다. 예측에는 수치를 사용해야 한다. 거기에 1가지 더 중요한 것이 있다. 예측이 많아야 한다.

 

역사를 수없이 되풀이할 수 없기 때문에 1가지 개연적인 예측을 놓고 이렇다 저렇다 판단하는 것은 무리다. 하지만 개연적 예측이 '많으면' 이야기가 달라진다. 기상캐스터가 내일 비 올 확률이 70%라고 말하면, 그 예보를 판단할 수 없다. 그러나 그녀가 몇 달에 걸쳐 내일과 모레와 글피의 날씨를 예보한다면, 그 예보를 표로 만들어 실적을 평가할 수 있다. 그녀의 예보가 완벽하다면, 비 올 확률이 70%라고 말한 때 중 70%에 비가 올 것이고, 비 올 확률이 30%라고 말한 때 중 30%에 비가 올 것이다. 이것을 '보정 calibration'이라고 한다.

 

p.127

"왜 베팅을 올리는 사람이 대단한 패를 가졌다고 추측했지? 너도 똑같이 높은 패를 가지고도 올리지 않았는데." 그녀가 그렇게 몰아붙인 다음에야 그들은 상대방의 관점에서 바라보지 못했다는 것을 깨닫는다고 애니는 말했다. 

 

p.135

"그것이 좋은 판단이었나?"를 "그것이 좋은 결과를 가져왔는가?"로 대체하는 이런 특별한 미끼 상술은 흔한 수법이지만 폐해가 있다. 노련한 포커 플레이어는 초보자들이 흔히 이런 실수를 저지른다고 생각한다. 초보자는 다음에 기다리는 카드가 들어올 것이라고 생각하여 베팅을 올리고 그렇게 해서 운이 좋으면 이기지만, 결과를 돌이켜볼 때 이겼다고 해서 그 어리석은 베팅이 현명한 베팅이 되는 것은 아니다. 반대로 프로는 다음에 기다리는 카드가 들어올 확률이 높다고 생각하고 베팅을 올렸다가 운이 없어 결국 지더라도, 졌다고 해서 베팅이 잘못된 것은 아니라는 사실을 정확히 알고 있다. 포커를 잘 하는 사람이나 훌륭한 투자자나 경영진들은 이런 문제의 성격을 정확히 이해한다. 이해하지 못하면 그런 일을 잘할 수가 없다. 경험이 주는 교훈을 잘못 받아들이면 시간이 갈수록 판단이 더욱 흐려지기 때문이다. 

 

p.136-137

정보 분석에는 늘 불확실성이 포함된다. 그 불확실성이 엄청나게 클 때도 많다. 분석가들은 그런 사실을 안다. 그러나 이라크의 대량살상무기를 대하는 IC의 태도는 오만의 희생양이 되었다. 결국 그들은 단순히 틀린 것이 아니었다. 틀릴 수 없다고 말했기 때문에 틀린 것이다. 사후 평가에서도 IC가 그들이 틀릴 수도 있다는 '생각'을 심각하게 해본 적이 없었다는 사실이 드러났다. "다수의 견해를 비난하는 '레드팀'도 없었고 악마의 대변인도 없었으며 다른 가능성을 제시한 신문도 없었다." 저비스는 그렇게 썼다. "가장 놀라운 것은 우리가 지금 사실이라고 생각하는 견해와 비슷한 견해를 제시한 사람이 아무도 없었다는 사실이다." 백악관 자체 조사에서도 이런 패착을 신랄하게 비난했다. "사담이 금지된 무기 프로그램을 중단했다고 결론을 내리지 못한 것과 그럴 가능성을 고려하지도 못했다는 것은 전혀 다른 문제다."

 

IC는 커다란 실패의 충격에도 신속한 반응을 보이지 못하는 거대한 관료조직이다. 저비스는 당대 최대 지정학적 재앙이었던 이란의 혁명을 예측하지 못한 1979년의 실패에 대한 사후 평가를 마친 후 내게 말했다. "(CIA의) 정치 분석 책임자를 만났습니다. 그녀가 말하더군요. '당신이 우리로부터 아무 말도 듣지 못했다는 것을 압니다. 그래서 그렇게 걱정을 하시는 거겠죠. 그러나 제대로 된 미팅을 통해 당신과 분석하고 토론할 수 있는 자리를 마련하겠습니다.' 그것이 전부였어요. 그런 자리는 마련되지 않았습니다." 하지만 대량살상무기 실패의 충격은 달랐다. 관료주의는 토대부터 흔들렸다. "그들은 그 문제를 심각하게 받아들였다." 저비스는 말했다.

 

p.159

평균회귀는 실적에서 운의 역할을 검증하는 데 없어서는 안 될 도구다. 모부신은 실력이 좌우하는 활동에서는 회귀가 느리게 나타나고, 운과 우연의 영향이 큰 곳에서는 회귀가 빠르게 나타나는 경향이 있다고 지적한다. 

 

p.184~186

질문은 이것이다. '렌제티 가족이 애완동물을 키울 가능성은 어느 정도일까?'

 

이런 질문을 받게 되면 대부분의 사람들은 이 가족에 대한 세부적인 정보에 초점을 맞출 것이다. "렌제티는 이탈리아식 이름이다." 그렇게 생각하는 사람도 있을 것이다. "'프랭크'나 '카밀라'라는 이름도 마찬가지다. 프랭크에게는 형제자매가 많을지 모르지만 현재 그는 아이가 하나밖에 없다. 그는 대가족을 꾸리고 싶지만 그럴만한 여유가 없다. 그래서 애완동물에 더 애착을 가질지도 모른다." 또 이렇게 생각하는 사람도 있을 것이다. "애완동물은 보통 아이가 졸라서 키우는데 렌제티 가족은 아이가 하나밖에 없고 토미는 애완동물을 보살필만한 나이도 되지 않았다. 그러니 이들이 애완동물을 키울 가능성은 별로 없다." 모두 그럴듯한 스토리텔링이다. 이보다 더 세부적인 내용을 입수할 수 있다면 이야기는 더욱 그럴듯해질 것이다. 

 

그러나 슈퍼 예측가들은 적어도 처음에는 이런 번거로운 추리를 하지 않는다. 그들은 먼저 미국에서 애완동물을 키우고 있는 가정이 전체의 몇 퍼센트 정도인지부터 알아낸다.

 

통계학자들은 이를 '기본율 base rate'이라고 부른다. 기본율은 어떤 대상이 더 넓은 부류 안에 어느 정도 있는지를 따지는 개념이다. 대니얼 카너먼은 주변을 훨씬 더 적극적으로 바라보는 시각적 조건으로 기본율을 바라본다. 그는 그것을 '외부 관점 outside view'이라 부른다. 이와 대조적으로 '내부 관점inside view'은 특정 경우에 대한 구체적인 관점이다. 인터넷을 검색해보면 미국인 가정의 62%가 애완동물을 기르고 있다는 사실을 쉽게 알아낼 수 있다. 이것이 외부 관점이다. 외부 관점으로 시작한다는 것은 렌제티가 애완동물을 기를 확률이 62%라고 추산하는 것으로 시작한다는 뜻이다. 그다음 내부 관점으로 눈을 돌려 렌제티에 대한 모든 세부적인 정보를 찾아 그것을 근거로 최초의 62%를 상향 또는 하향 조정한다.

 

내부 관점에 관심을 갖는 것은 당연하다. 내부 관점은 보통 구체적이고 당장 필요한 내용으로 되어 있어서 앞으로 진행될 일에 대한 이야기를 다듬는 데 적지 않은 도움이 된다. 외부 관점은 보통 추상적이고 다듬어지지 않은 정보이기에 스토리텔링에는 큰 도움이 되지 않는다. 그래서 아무리 똑똑하고 노련한 사람이락고 해도 보통은 외부 관점을 도외시하기 일쑤다.

 

<월스트리트저널>의 칼럼니스트이자 레이건 대통령의 연설문을 전담했던 페기 누난은 언젠가 민주당이 정국을 풀어가는 데 애를 먹을 것이라고 예측한 적이 있다. 여론조사 결과 조지 W. 부시 전 대통령의 지지율이 오바마 대통령의 지지율과 동일하게 나왔기 때문이다. 부시 전 대통령의 지지율은 임기 말에 바닥을 쳤다가 그가 권좌에서 물러난지 4년이 지났을 무렵 47%로 다시 올랐다. 누난은 이를 매우 의미심장하게 받아들였다. 그러나 그녀가 외부 관점을 살펴봤다면, 대통령의 지지율이 퇴임 이후에는 '예외 없이' 올라간다는 사실을 알아냈을 것이다. 리처드 닉슨 조차 퇴임 후에는 지지율이 올라갔으니까 말이다. 그러니 부시의 지지율이 상승한 것은 전혀 놀랄 일이 아니고 어떤 의미를 둘 만한 일도 아니었다.

 

p.187~188

왜 외부 관점을 먼저 따져야 할까? 내부 관점부터 확인해 결론을 내린 다음 이부 관점으로 시야를 돌릴 수도 있는데, 그 편이 더 효율적이지 않을까? 안타깝게도 그렇지 않다. '앵커링 anchorting' 때문이다.

 

추산을 할 때 우리는 특정 수치를 출발점으로 삼아 이를 수정해나간다. 이 시작점의 수치를 '앵커(닻)'이라고 한다. 우리는 보통 수치를 수정해나가기 때문에 앵커가 중요하다. 다시 말해 앵커를 잘못 내리면 추산이 잘못되기 쉽다. 실제로 앵커를 엉뚱한 곳에 내리는 경우가 많다. 대니얼 카너먼과 아모스 트버스키는 여러 고전적 실험을 통해 어떤 수치에 노출시키는 것만으로도 그 사람의 판단에 영향을 미칠 수 있다는 사실을 확인했다. 원반을 돌려 무작위로 골라낸, 아무 의미도 없는 수치라고 해도 마찬가지다. 그래서 성급하게 내부 관점에서부터 시작하면 의미 없는 수치에 휘둘릴 위험이 있다. 반면 외부 관점에서 시작하면 의미 있는 앵커로 분석을 시작할 수 있다. 앵커를 제대로 내리면 확실한 이점을 확보할 수 있다. 

 

p.189

첫 번째 가설로 시작하자. 이스라엘이 야세르 아라파트를 폴로늄으로 독살했다. 이 가설이 사실이 되려면 무엇이 필요한가?

 

1. 이스라엘은 폴로늄을 가졌거나 확보할 수 있다.

2. 이스라엘은 큰 위험을 무릅쓸 정도로 아라파트의 사망을 바랐다.

3. 이스라엘은 아라파트를 폴로늄으로 독살할 능력이 있다. 

 

각 항목을 뒷받침하거나 반증할 증거를 찾아내어 각각의 가능성이 어느 정도인지 그리고 그 가설이 어느 정도 가능성이 있는지 알아낼 수 있다. 하나의 가설에 대한 검증이 끝나면 다음 가설, 또 그 다음 가설로 넘어가면 된다.

 

마치 수사 작업을 하는 듯한 기분이 든다. TV 프로에 나오는 수사관이 아닌, 실제 수사관들이 하는 작업은 치밀하고 논리적인 반면 더디고 아주 까다롭다. 그래도 정처 없이 정보의 숲을 헤매는 것보다는 훨씬 낫다. 

 

p.191~193

외부 관점과 내부 관점을 찾아내고 이 둘을 종합하는 것으로 모든 과정이 끝나는 것은 아니다. 이는 그저 좋은 출발ㅇ리 뿐이다. 슈퍼 예측가는 자신만의 견해를 도출하기 위해 종합할 수 있는 다른 견해들을 끊임없이 찾는다.

 

새로운 관점을 확보할 수 있는 방법은 아주 많다. 다른 예측자들은 어떻게 생각하는가? 그들은 어떤 방식으로 외부 관점과 내부 관점을 만들어내는가? 전문가들은 어떻게 말하는가? 예측자는 또한 자신을 훈련시켜 다양한 관점을 만들어낼 수도 있다.

 

빌 플랙은 어떤 판단을 내릴 때 데이비드 로그처럼 자신의 생각을 동료들에게 자주 설명한다. 그다음엔 자신의 판단에 대한 평을 부탁한다. 빌은 동료들이 자신의 결함을 찾아내고 그들의 견해를 말해주기를 바란다. 자신의 판단을 적는 것도 그 판단과 거리를 유지하는 하나의 방법이다. 기록하면 한 발 물러나 자신의 판단을 철저히 따져볼 수 있기 때문이다. "말하자면 자체 피드백이다. 이 판단에 동의하는가? 허점은 없는가? 허점을 메우려면 다른 무엇을 찾아야 하는가? 내가 다른 사람이라면 이 정도 결론으로 설득이 될까?"

 

아주 명석한 방법이다. 그는 사람들에게 자신의 초기 판단이 틀렸다고 가정하고 그 이유를 진지하게 생각해본 다음 또다른 판단을 내려달라고 요구했다. 그것만으로도 그는 쉽게 두 번째 추측을 끌어낼 수 있다고 생각했다. 그렇게 구한 두 번째 추측을 첫 번째 추측과 종합하면, 다른 사람으로부터 두 번째 추측을 얻어내는 것 못지않게 정확성을 향상시킬 수 있다는 것이다. 몇 주가 지난 후 사람들에게 두 번째 추측을 해달라고 요구해도 같은 효과를 거둘 수 있었다. '대중의 지혜'를 토대로 하는 이러한 방법은 '내부의 군중 the crowd within'이라고 불려왔다. 억만장자 금융가인 조지 소로스는 이런 방법을 실증해 보인 인물이다. 그는 자신이 성공할 수 있었던 핵심 요인은 한 발 물러나 자신의 생각을 판단하고 자신과 다른 관점에서 따져보는 사고 습관이었다고 입버릇처럼 말했다.

 

좀 더 간단하게 다른 관점을 확보할 수 있는 방법도 있다. 문장을 비트는 것이다. 이런 질문을 생각해보자. "남아프리카 정부가 6개월 이내에 달라이 라마에게 비자를 발급할까?" 우직한 예측자는 달라이 라마가 비자를 받을 수 있다는 증거만 뒤질 뿐 비자를 받지 못할 것 같은 암시가 되는 증거는 찾을 생각도 하지 않을 것이다. 꼼꼼한 사람들만 '확증편향'을 염두에 두고 양쪽을 모두 뒷받침하는 증거를 찾을 것이다. 그러나 "비자를 받을 것인가"라는 생각에만 매달리면, 생각의 범위가 한쪽으로 치우치게 되어 자신도 모르는 사이 확증편향에 빠지게 된다. "여기는 남아프리카공화국이다! 흑인 공무원들은 오랜 세월 아파르트헤이트에 시달렸다. 당연히 그들은 이 티베트의 넬슨 만델라에게 비자를 발급할 것이다." 이러한 사고의 쏠림을 억제하려면 질문을 거꾸로돌려서 이렇게 물어야 한다. "남아프리카공화국 정부가 6개월 사이에 달라이 라마를 거부할가?" 사소하긴 해도 이 정도의 말만 바꾸어도 반대편으로 솔깃해지고 그래서 그들이 비자를 거부할만한 이유를 찾게 만든다.

 

p.197

슈퍼 예측가들에게 신념은 검증해야 할 가설이지 지켜야 할 보물이 아니다. 슈퍼 예측을 상투적인 구호로 내세울 수는 있다. 그러나 그렇게 한다면 슈퍼 예측은 또 하나의 신념이 되고 말 것이다.

 

p.232-233

확률적으로 생각하는 사람은 '왜'라는 질문에 흔들리지 않고 '어떻게'에 초점을 맞춘다. 의미론적 강변은 없다. '왜'라는 질문은 우리의 시선을 형이상학으로 돌려놓는다. '어떻게'라는 질문은 물리학을 고집한다. 확률적으로 사고하는 사람은 말할 것이다. "그래, 내가 그날 밤 내 짝을 만날 확률은 아주 희박했다. 하지만 그날 밤 나는 어딘가에 있었을 것이고 그녀도 어딘가에 있었을 것이다. 다행스럽게도 우리의 그 어딘가가 서로 일치했다."

 

노벨상을 수상한 경제학자 로버트 실러는 헨리 포드가 당시로서는 파격적인 하루 5달러라는 높은 급료를 주면서 근로자들을 고용하기로 했던 경위를 이야기한다. 그런 임금 덕분에 실러의 친할아버지와 외할아버지 두 분은 포드에서 일하기 위해 디트로이트로 이사를 왔다. 누군가가 2명 중 1명에게 더 좋은 직장을 제공했거나, 2명 중 1명이 말의 뒷발질에 머리를 채였거나, 누가 헨리 포드에게 하루 5달러는 터무니없는 급료라고 만류했다면? 그렇게 거의 무한에 가까운 많은 사건들이 다른 방식으로 일어났다면, 로버트 실러는 세상에 태어나지도 않았을 것이다. 그러나 거짓말 같은 자신의 존재에서 실러는 어떤 운명을 보기보다 미래의 불확실성을 설명하는 수단으로 그 이야기를 사용한다. "사람들은 역사가 전개되는 방식에 어떤 종류의 논리적 의미가 있다고 믿는 경향이 있습니다. 그렇다면 미리 알았어야 하겠죠. 하지만 그렇지는 않습니다." 그는 내게 그렇게 말했다. "지나고 난 뒤에 그렇다고 착각하는 것일 뿐입니다."

 

확률적으로 생각하는 사람들은 비극적인 일을 당해도 이렇게 말한다. "그래. 어떤 사건이 나아갈 수 있는 방향은 무한할 정도로 많다. 그리고 그런 사건이 내 아이의 죽음으로 끝날 가능성은 거의 없었을 것이다. 그러나 그 사건은 어디론가 가야 했고 그렇게 해서 그런 쪽으로 간 것뿐이다. 그게 전부다." 카너먼의 관점에서 볼 때 확률적으로 생각하는 사람들은 정체성을 확실하게 규정하는 사건에 대해서도 외부 관점을 취하면서, 그 사건들을 한때 가능했던 세계의 분포에서 어느 정도 무작위로 끌어온 것으로 본다. 또는 커트 보네거트의 관점에서 보면 이렇다. "왜 하필 나인가? 왜 너는 아닌가?"

 

p.238

예측은 동전으로 표면을 긁어내는 복권이 아니다. 예측은 활용 가능한 정보의 변화에 맞춰 계속 업데이트를 해야 하는 한시적인 판단이다. 새로운 여론조사에서 어떤 후보가 안심할 수 있는 리드 폭을 잡은 것으로 나오면, 그 후보가 승리할 확률을 높여야 한다. 어떤 경쟁자가 갑작스럽게 파산 선고를 하면, 예상되는 매각 수순에 따라 확률을 수정해야 한다. IARPA 토너먼트도 마찬가지였다. 빌 플랙은 까다로운 초기 작업을 모두 마친 뒤 야세르 아라파트의 유해에서 폴로늄이 검출될 확률을 60%로 잡은 다음 몇 가지 근거에 따라 그 수치를 올리거나 내렸다. 그는 뉴스를 꼼꼼하게 확인하고 업데이트해야 할 경우에는 계속 수치를 수정했다. 이런 절차는 매우 중요하다. 최신 정보가 반영된 예측은 그렇지 않은 예측보다 진실에 더 가까울 가능성이 크다.

 

p.245

너무 느리거나 너무 민감하게 반응하면 정확성이 떨어진다. 어느 쪽이든 완벽한 예측을 어렵게 만드는 방해물이다.

 

p.258-259

이런 작은 변화(의심의 단위)의 관점에서 생각하는 것이 조금 이상하게 보일 수도 있지만 민토처럼 생각을 세분화한다면 그쪽이 당연한 방법이다. 만약 2014년 9월 초, 유명한 여론 통계전문가인 네이트 실버가 상원 중간선거에서 공화당이 승리할 확률을 60%로 잡았다는 기사를 읽었다고 하자. 당신은 그 기사가 확실하다고 여겨 초기 예측을 60%로 정했다. 다음날 새로운 여론조사에서는 콜로라도의 상원 경선에서 공화당 지지가 45%에서 55%로 상승했다는 기사를 접한다. 

 

이제 추측을 얼마나 올려야 할까? 0보다는 커야 할 것이다. 그러나 당신은 공화당에 유리한 쪽으로 기우는 주가 얼마나 많을지 생각해보고 콜로라도에서 승리한다 해도 전체 판도가 크게 달라지지는 않을 것이라고 생각한다. 그래서 올릴 수 있는 예측 최대치를 10% 정도로 잡는다. 이제 올리는 범위는 1%에서 10% 사이다. 몇 개 주에서 공화당이 승리할 것으로 보이는가? 그 수가 "상원에서 다수를 차지하는 데 필요한 의석보다 훨씬 더 많다"면 10%에 가까운 쪽으로 수정될 것이다. 그게 아니라 "간신히 다수 석을 차지할 정도"라면 1%에 가까운 쪽일 것이다. 이 경선에서 여론은 어느 쪽으로 점치는가? 콜로라도에 작용하고 있는 요인은 적절한가? 선거는 얼마나 남았는가? 이 정도 시간이 남을 경우 여론조사는 어느 정도의 기간을 미리 예측할 수 있는가? 각 질문의 대답은 확률을 조금 더 높이는 데 도움을 준다. 그래서 2%와 9% 사이였다가 그 다음에는 3%에서 7%로 바뀐다. 마지막에는 4%로 정해 예측을 60%에서 64%로 올린다. 

 

대단한 변화는 아니다. 솔직히 말해 조금 답답하기까지 하다. 그래서 민토가 아무리 적중률이 높다고 해도 TV에 출연하고 베스트셀러를 쓰고 기업의 초빙 강사가 되어 미래에 대한 통찰력을 과시하는 구루는 될 수 없을 것이다. 그러나 민토의 방법은 분명 효과가 있다. 토너먼트의 잘가 이 사실을 입증해준다. 슈퍼 예측가들은 다른 예측자들보다 업데이트를 자주 할 뿐만 아니라 그들보다 변화를 세분화한다.

 

새로운 정보가 나와도 자신의 견해를 조율하지 않는 사람은 그 정보의 가치를 제대로 낚아채지 못하는 우를 범한다. 반대로 새로운 정보를 접했을 때 영향을 과도하게 받아 전적으로 그 정보에만 매달리는 사람은 앞서 자신이 내놓았던 예측을 뒷받침하는 오래된 정보의 진정한 가치를 놓치는 실수를 한다. 그러나 오래된 정보와 새로운 정보의 균형을 신중하게 맞추는 예측자는 양쪽의 가치를 모두 포착하여 그것을 자신의 새로운 예측에 반영한다. 따라서 가장 좋은 방법은 업데이트를 자주 하되 조금씩 하는 것이다. 

 

p.269-270

고정적 마인드세트를 가진 사람은 답이 맞느냐 틀리느냐에 매우 민감한 반응을 보이며 신경을 썼지만, 정작 답을 고칠 수 있는 정보에는 별다른 관심을 가지지 않았다. "답이 틀렸는데도 그들은 정답을 알려고 하지 않았다." 드웩은 그렇게 썼다. "성장 마인드세트를 가진 사람들은 지식을 늘릴 수 있는 정보에 상당한 관심을 보였다. 정작 중요한 부분에 관심을 갖는 쪽은 그들뿐이었다."

 

최고 수준의 에측을 하기 위해서는 성장 마인드세트를 갖춰야 한다.

 

p.277-278

실패를 통해 배우려면 언제 실패하는지 알아야 한다. 뒤로 넘어가는 아기는 그것을 안다. 자전거를 타다가 넘어져 무릎에 피가 나는 아이도 그것을 안다. 어렵지 않아 보이는 퍼팅을 하다 벙커에 공을 떨어뜨린 회계사도 그것을 안다. 그들은 실패했다는 것을 알기 때문에 무엇이 잘못되었는지 생각하고 수정하여 다시 시도할 수 있는 것이다.

 

애석하게도 예측하는 사람들은 기상 전문가나 브리지 선수처럼 확실한 피드백을 받지 못한다. 거기에는 2가지 이유가 있다. 

 

우선 모호한 언어가 큰 장벽이다. 3장에서 살펴본 대로, '아마도'나 '어쩌면' 같은 용어는 예측의 결과를 판단할 수 없게 만든다. 어떤 일이 일어날 수 있다거나 일어날지도 모른다고 말하는 것은, 무슨 말이든 할 수 있거나 무슨 말이든 해도 좋다는 뜻이 된다. 스티브 발머의 '의미 있는 시장점유율'이라는 말처럼 정확한 것 같지만 자세히 들여다보면 안개처럼 막연한 푤현들이 예측에는 너무 많이 사용된다. 아무리 공정하게 평가하려고 해도 모호한 예측에서는 의미 있는 피드백을 끌어내기가 어렵다. 게다가 평가하는 사람이 예측하는 사람 자신인 경우에는 문제가 더욱 심각해진다.

 

p.305-306

소크라테스 이래로 좋은 스승은 정확하게 질문하는 법을 가르쳤다. 그래도 정작 그래야 할 때는 그렇게 하지 못한다. 케네디 팀이 피그만 침공을 계획했을 때 정확한 질문에 좀 더 치중했다면 상황이 어떻게 달라졌을까? 

 

"반군이 공격을 받아 일이 틀어지면 어떻게 되는 겁니까?"

"에스캄브라이 산맥으로 후퇴합니다. 거기서 다른 반군과 만나 게릴라 작전을 펴면 됩니다."

"피그만의 상륙지점에서 에스캄브라이 산맥까지 거리가 어떻게 됩니까?"

"130km입니다."

"지형은 어떤가요?"

"대부분 늪과 밀림입니다."

"자, 게릴라 부대가 공격을 받았고 계획은 무산됐습니다. 헬리콥터도 탱크도 없습니다. 그런데 130km나 이어지는 늪지대와 밀림을 통과해야 은신처를 찾을 수 있단 말인가요? 정말입니까?"

 

만약 이런 대화가 이어진다면 "그럴듯한 계획이오!"라는 말로 끝날 것 같지 않다.

 

하지만 이런 식의 질문은 없었다. 대통령에 취임하고 나서 내린 케네디의 첫 주요 결정은 재앙으로 끝났다. 그들은 즉시 교훈을 얻었고 결국 각자 확고한 주장을 갖고 있지만 서로를 존중하는 토론을 통해 쿠바 미사일 위기를 슬기롭게 빠져나갔다. 

 

p.344-345

애니같이 영리한 사람은 늘 결정을 내릴 때 단순한 인식적 지름길의 유혹을 받는다. "답은 압니다. 그러니 오래 생가하고 말고가 없죠. 전 정확한 판단으로 성공한 사람입니다. 내 판단이 옳다고 믿는다는 사실이 내 판단이 옳다는 것을 입증해줍니다." 이런 식으로 결정하면 현실을 코끝으로만 보게 된다. 제아무리 대단한 사람이라도 이런 식으로 결정을 내리는 것은 위험하다. 이런 함정을 피하기 위해 그녀는 그녀가 자신있어 하는 것과 그렇지 않은 것을 조심스럽게 구분한다.

 

"포커 게임에 임할 때는 아주 겸손해야 합니다. 게임은 매우 복잡하고 정답이 없기 때문이죠. 오목이나 체커 게임 정도로 생각했다가는 큰코다칩니다." 그녀는 그렇게 말한다. "포커 게임은 쉽게 정복할 수 있는 대상이 아닙니다. 평소에도 늘 생각하고 연구해야 하죠. 말이 나왔으니 하는 말이지만, 게임에 임했을 때 겸손은 적을 앞에 두었을 때의 겸손과 전혀 다릅니다." 애니는 포커 테이블에 앉으면 누구와도 해볼 만하다는 자신감을 갖는다. "그렇다고 해서 내가 게임의 원리를 완전히 터득하고 있다는 말은 아닙니다."

 

정확한 판단을 내리려면 겸손해야 하지만 그렇다고 자신의 능력까지 의심할 필요는 없다. 스스로 재능이 없고 지력도 모자라고 자격이 없다고 생각한다면 좋은 판단을 내릴 수 없다. 좋은 판단에 필요한 것은 지적 겸손이다. 지적 겸손이란 현실이 매우 복잡하며, 상황을 직시하려면 고통을 감수해야 하고, 어떻게 해서 그렇게 할 수 있다고 해도 인간의 판단은 잘못될 수 있다는 사실을 인정하는 것이다. 이는 바보에게든 천재에게든 마찬가지다. 따라서 스스로를 대단하다고 여겨도, 지적으로는 얼마든지 겸손할 수 있다. 자신감과 지적 겸손이 잘만 조합된다면 아주 놀라운 결과를 얻어낼 수 있다. 지적 겸손을 가지려면 그만큼 깊이 생각해야 하고 깊이 생각해야 정확한 판단을 내릴 수 있다. 반면에 자신의 능력에 대해 자신감을 가지면 단호한 결정을 내릴 수 있다. 

 

p.346-347

독일군에게 발휘된 효과를 제대로 이해하기 위해서는 어떤 형태의 관점도 수용할 수 있는 배포를 가져야 한다. 심지어 우리가 경멸하는 대상에도 매우 훌륭한 속성이 담겨 있을 수 있다는 사실을 인정해야 한다. '인지부조화'에 적절히 대처하지 못하면 적을 대수롭지 않게 평가할 위험이 있고, 이는 잘못된 예측으로 이어진다.

 

도덕성과 유능함을 이어주는 신성한 고리 같은 것은 없다. 청교도 시인인 존 밀턴은 <실낙원>에서 사탄을 악하면서도 기략이 풍부한 존재로 묘사했다. 독일군에도 같은 표현을 적용할 수 있다. 예측을 두고 도덕성과 인지력을 섣불리 연결하려고 시도하다가는 가장 중요한 순간에 잘못된 판단을 내리기 쉽다. 지하드(성전)를 부르짖는 단체들은 무능하고 사악한 집단이기 때문에 창의적일 수 없다고 생각하는 정보 분석가들은 예측가로서 자격이 없다.

 

인지부조화에 적절히 대처하기는 생각처럼 쉽지가 않다. F. 스콧 피츠제럴드는 자신의 책 <붕괴>에서 "최고의 지성은 망므속에 대립하는 2가지 개념을 동시에 간직하는 능력이고, 그 능력이 제대로 기능할 수 있도록 유지하는 역량이다"라고 말했다. 그렇게 하려면 독일군의 유연한 조직력에 대한 우리의 사실적 판단과 나치 체제를 바라보는 우리의 느낌을 분리시켜야 한다. 그다음, 독일군을 파멸시켜 마땅한 가공할 집단이자 동시에 배울 점이 있는 효율적 조직으로 볼 수 있어야 한다. 여기에는 어떤 논리적인 모순도 없다. 심리와 논리의 긴장이 있을 뿐이다. 슈퍼 예측가가 되고 싶다면 그런 긴장을 극복해야 한다.

 

결코 쉬운 일이 아니다. 자기비판에 적극적인 슈퍼 예측가조차도 사실과 가치를 혼동할 때가 많다. 시리아 내전 초기에 더그 로치는 반군의 알레포 시 점령 여부에 대한 문제를 그르쳤다. 아사드 정권에 대해 혐오감을 가지고 있던 그는 반군이 이기기를 은근히 바랐고, 그로 인해 바람을 결론에 투영하고 말았다. 반군의 병력이 약세였다는 증거가 있었는데도 그는 이를 가볍게 생각했다. 조슈아 프랭클은 북한의 핵무기 사용 여부에 대한 예측을 잘못 짚었다. "사태를 낙관한 데다 새로운 진전을 바랐기" 때문이었다고 그는 회상했다. 그는 당시 자신이 내린 판단의 문제점을 인식하지 못했다. 그러나 "마감일 몇 주 전에 한국 전쟁 당시 북한에서 탈출했던 사람을 가족으로 둔 어떤 친구와 대화를 나누다가 뒤늦게 그것을 깨달았고" 그는 자신의 예측을 번복했다.

 

p.365

"실패할 확률이 90%라면 다들 외면합니다. 하지만 세상을 바꿀 확률이 10%라고 하면 좋아해요. 재미있는 현상이죠." 이것이 블랙 스완 투자다.

 

탈레브도 작가가 되기 전 트레이더였을 때 이와 비슷한 투자 기법으로 성공했다. 그러나 그런 투자만 있는 것은 아니다. 예측을 좀 더 정확히 하여 경쟁자를 물리치는 방법도 얼마든지 있다. 예를 들어 어떤 일이 일어날 확률이 60%라고 사람들이 예상할 때, 그 확률을 68%로 판단하여 적중하는 경우가 그렇다. 주로 포커의 고수들이 쓰는 방식이다. 이런 방법을 쓰면 돈을 벌 수 있지만 수익이 평범하기에 큰돈을 기대하기는 어렵다. 블랙 스완에 투자하는 사람은 투자에 능한 사람도 아니고 투자할 줄 모르는 사람도 아니다. 이는 다른 문제다.