빅데이터의 다음 단계는 예측 분석이다

p.38~39

사람들은 믿음과 편견을 가지고 일한다. 

당신은 이 두 가지를 얼마나 제거할 수 있는가?

그리고 제거한 그 자리에 데이터를 대신 채워넣을 수 있다면

당신은 분명히 이득을 보게 될 것이다.

마이클 루이스, <머니볼: 불공평한 게임에서 승리하는 기술> 中 재인용

p.57

광고 타기팅 및 다른 실시간 예측 분석을 도입함에 있어서 실질적인 가치를 제공하기 위해서는 눈 깜짝할 속도로 줌인을 해야 한다. 어떤 광고를 보여줄 것인가를 선택할 때, 어떤 주식을 매입할 것인가를 결정할 때, 신용카드 결제를 승인할 것인가를 결정할 때, 영화를 추천할 때, 이메일의 바이러스를 걸러내야 할 때, 우리의 온라인 세계는 단 1초도 기다려주지 않는다. 실시간 예측 분석 솔루션은 웹사이트, 신용카드 처리 시스템과 같은 업무운영 시스템에 직접적으로 통합되어 있어야 한다. 만약 당신이 한 기업에서 예측 분석을 통합하는 작업을 하고 있다면, 그것은 소프트웨어 엔지니어에게는 상당히 부담스러운 프로젝트가 될 수 있다. 그들은 기존의 비즈니스가 막힘없이 자연스럽게 운영되도록 유지 관리하는 업무만으로도 정신없이 바쁘기 때문이다. 따라서 예측 분석 프로젝트의 '도입'단계는 단순히 고위 경영진으로부터 실행해도 좋다는 끄덕거림을 받는 것보다 훨씬 더 많은 것들을 요구한다. 대규모 공사가 필요한 것이다. 내 고객기업의 프로그래머들이 내가 설계한 예측적 광고 선별 시스템을 다 구축할 즈음이면 내가 기준으로 삼았던 데이터는 이미 11개월이나 지난 것들이 된다. 그렇다면 이 시스템이 학습한 양상들이 1년이 지난 뒤에도 여전히 유의미할까?

p.68~69

최고의 엔지니어들도 아주 평범한 실수를 저지른다. 가까운 예로 1998년 말에 미 우주항공국(NASA)은 '화성 기후 탐사선'을 쏘아 올렸다. 지금까지 화성을 향해 발사된 세계 각국의 탐사 로켓들 중 절반 이하만이 실제로 화성에 도착했다. 3억 2,760만 달러짜리 이 우주선도 결국엔 불에 홀랑 타버렸다. 그런데 이는 동전 던지기와 같이 운이 나빠서 그런 것이 아니라 단순하고 어처구니없는 실수에서 비롯된 것이었다. 우주선은 화성에 너무 가까이 접근한 바람에 화성 대기권에서 불에 타 분해되어 버렸다. 이같은 미숙한 항해의 원인은 무엇이었을까? 우주선 내의 한 시스템이 미터법(뉴턴-초)에 따른 정보를 수신하기로 되어 있었는데 또 다른 시스템을 만든 컴퓨터 프로그래머가 영국식 야드-파운드법(파운드-초)으로 다른 시스템과 커뮤니케이션하도록 설정한 것이다. 저런!

p.90

모든 기업과 조직은 데이터에 대해 누구, 무엇, 어디, 언제, 얼마나 오래, 왜를 결정해야 한다.

보관 - 무엇을 얼마나 오래 저장할 것인가.

접근 - 어떤 그룹 멤버들이, 어떤 직무 유형 사람들이, 어느 직원이 어떤 데이터 요소를 끄집어내어 볼 수 있는 권한을 가지는가.

공유 - 어떤 데이터를 조직 내 어느 부서들에, 그리고 어느 외부 조직에 배포할 수 있는가.

합병 - 어떤 데이터 요소들이 함께할 수 있고, 하나로 합쳐지거나 연결될 수 있는가.

반응 - 얼마나 많은 데이터 요소들이 한 조직의 대응, 확장 및 기타 행동에 영향을 주는가. 

상황을 더욱 복잡하게 만드는 것은 위의 각 항목에 "어떤 상황에서 그리고 어떤 의도나 목적을 위해서"라는 조건을 전부 덧붙여야 한다는 것이다.

p.129

컴퓨터화된 법집행의 발전은 대단히 어려운 윤리적 딜레마를 제시한다.

법집행에 예측 분석을 활용한다는 것은 한 개인을 그 자체의 특성대로 판단한다는 개념 그 자체에 반기를 드는 것인가? 어떤 한 사람과 일정한 특징을 공유하는 다른 사람들이 취한 행위들에 근거하여 그 사람이 나쁜 행위를 하게 될지 여부를 예측하는 것은 부당하지 않은가? 인간도 마찬가지로 경험으로부터 배우기 때문에 한 개인의 미래 범죄 가능성에 대해서 인간이 예측하는 것 또한 본질적으로는 그 이전에 다른 사람들을 대상으로 관찰한 것에 근거한 것이 아닌가?

범죄 리스크 모델은 작은 수의 특징들(예측 모델에 입력되는 변수들)만을 가지고 과거의 범죄자를 마치 껍질 벗기듯이 지극히 제한된 관점으로 축소시킴으로써 그를 비인간화한다. 하지만 애당초 교도소에 수감되는 것 자체가 인권의 제한을 감수해야 하는 것이라는 측면을 고려할 때 예측 분석의 도입으로 전반적 범죄율을 낮출 수 있고 불필요한 교도소 수감으로 인한 예산낭비를 줄일 수 있다면, 이 정도 부작용은 수용 가능한 범위 내에 있다고 할 수 있는가?

이러한 노력을 하는 과정에서 예측 분석은 범죄자의 교정과 재활을 촉진하는 요소로 활용될 수도 있지 않을까? (예를 들면 어떠한 교정수단이 해당 기결수의 재범률을 낮출 수 있는지를 예측함으로써) 법집행 관련 기관들은 기결수를 교정하는 데 예측 분석을 적용할 수도 있다.

p.133

미래의 범죄를 예측하기 위해서 과거의 범죄기록을 고려 요소로 삼음으로써 "현재의 인종적 차별을 미래에도 새겨넣게 되는 것이다." 그것은 편견이 이미 가지고 있는 자기실현적 예언을 확대 재생산하게 만든다.

필라델피아 시의 범죄 예측 모델을 옹호하는 엘렌 쿠르츠조차도 "만약 인종과 상관계수가 있는 변수를 모두 제거해버리길 원한다면 사용할 수 있는 것이 하나도 없게 된다. 그것이 미국적 삶의 현실"이라고 인정하였다.

비록 의사결정을 개선하기 위해서 설계된 것이지만 데이터 마이닝은 의도와는 달리 불공평함과 같은, 현실 속에 잠재하고 있는 불쾌한 개념들도 함께 끄집어낸다. 물론 논리적으로 보면 이러한 문제를 유발한 수학적 방식은 이러한 편견, 즉 인종에 따른 불공평한 대우를 치유하기 위해서 불공평한 대우의 경우들을 수학적 분석대상으로 삼을 수 있다. 하지만 그렇게 하려면 분석과정에서 제외되었던, 그러나 모든 프로파일링 수사관의 시선 속에는 남아 있는 데이터 요소인 '인종'을 다시 고려해야 할 요소에 포함시킴으로써만 가능해진다. 기술적으로 볼 때 만약 인종적 요소를 시스템에 투입한다면 이 문제를 해결할 수 있는 분석적 수단을 찾을 수 있다. 그러나 이것은 공평한 기회를 둘러싼 논쟁과 흡사한 새로운 판도라의 상자를 열어젖히는 것과 같다.

p.138

한 기업이 알게 된 내용이 중요한 것이 아니라 그것과 관련하여 어떤 '행위'를 하는가가 중요하다. 새롭고 강력한 데이터로부터 추론하는 것은 그 자체로는 범죄가 아니지만 책임성이라는 부담을 지게 만든다. 타깃 쇼핑몰은 임신 예측을 누구에게도 누설하지 않으면서 그것으로부터 어떻게 이득을 볼 수 있는지를 알고 있다(임신한 10대에 대한 검증되지 않은 이야기는 중요하기는 하지만 개별적인 실수에 불과하다). 하지만 어떤 마케팅 부서든 뜻밖에 비슷한 의학적 데이터를 얻게 된다면 반드시 책임감을 가지고 프라이버시를 보호하는 한편 이러한 데이터가 보관되어 있는 부서나 시설에 대한 보안을 강화해야 한다는 것을 깨달아야 한다. '당신이 만들었으니 당신이 관리하라.'

p.