AIⅹ 빅데이터 마케팅

p.23~24

딥러닝의 각 층을 조직의 직위라고 가정해봅시다. 최종 예측을 출력하는 층은 회사에서 의사결정을 내리는 층이라 할 수 있으므로 사장이라고 하겠습니다. 거기서 한 층 입력 단계에 가까운 층은 임원이고, 입력에 접근할수록 부장, 차장, 과장, 대리, 사원이 된다고 생각해 봅시다. 이 조직이 어떤 회사에 투자할 것인지를 결정할 때, 사장은 "그 회사의 주가가 오를 것이라 생각하나?"하고 임원들에게 묻습니다. 그러자 한 임원이 "올라갑니다!"라고 답하였고, 다른 한 임원은 "내려갑니다"라고 대답했습니다. 시간이 흘러 투자를 고려하고 있었던 회사의 주식이 올라갔다고 합시다. 그러면 오를 것이라 답했던 임원과 사장의 관계가 강화되겠죠. 사실 임원이 사장으로부터 주가가 오를지 내릴지 여부에 대한 질문을 받았을 때, 대충 대답할 수는 없기에 자신의 팀 부장에게 의견을 구했었습니다. 사장과의 관계 강화 때와 마찬가지로, 주식이 오를 거라고 예측하는 데 공헌한 부장과의 관계도 강화됩니다. 

 

현실 세계는 이처럼 간단하지 않지만, 딥러닝 구조의 관점에서 생각해보면 좋은 판단을 내린 신경세포 사이는 두꺼워지고, 이후로도 그렇게 두껍게 연결된 신경세포의 의견에 중점을 두고 결정을 내릴 것입니다. 이처럼 정답에 공헌한 관계를 점점 거슬러 올라가며 두터운 관계를 형성하는 것만으로도 자연스럽게 문제해결에 적합한 구조를 만드는 방법을 'Back propagation'이라고 부릅니다. 

 

p.53

구매 퍼널

 

각 단계에서 파악해야 하는 것은 아래 세 가지입니다.

- 각 단계에 얼마나 많은 사람이 있나?

- 어느 정도의 비율의 사용자가 얼마나 빠른 속도로 다음 단계로 옮겨가는가?

- 각각의 단계에 어느 정도의 금액을 투자하고 있는가?

 

p.60

 

p.61

p.71~72

관련 단어를 찾을 때 고려해야 하는 기본은 '같은 문서에 나오는 단어는 관련성이 높다'는 발상입니다. '같은 문서'를 어떻게 정의하는가에 따라 관련성의 강약을 조절할 수 있습니다. '같은 문장에 포함 -> 같은 단락에 포함 -> 같은 페이지에 포함 -> 같은 범주에 포함 -> 같은 사이트에 포함'과 같이 범위를 확장할수록 연관성은 약해집니다. 여기까지의 경험상 동일한 페이지에 포함되어 있는지를 기준으로 생각하면 처리가 간단하며 합리적인 결과를 얻기 쉬우리라 생각됩니다.

 

같은 페이지에 포함되어 있는지를 기준으로 한 지표가 몇 가지 있습니다. 예를 들어, A와 B라는 단어가 같은 문장에 포함된 횟수가 100회였다고 합시다. 이것만 볼 때 A라는 단어와 B라는 단어가 관련이 있는 것처럼 느껴지기 쉽지만, 각각 100만 개 중 동시에 나오는 횟수가 단 100회라고 하면 도리어 관련성이 낮다고 볼 수 있습니다. 따라서 A와 B가 동시에 나오는 페이지 수를 A 또는 B가 각각 나오는 페이지 수로 나누면 전체 언급 횟수 중 얼마나 함께 나오는지 계산할 수 있습니다. 이렇게 구한 지표를 '자카드 계수'라고 합니다. 같은 계산 방법으로 '코사인 유사도', '다이스 계수', '심슨 계수' 등이 있습니다. 이 중 자카드 계수는 단어 A와 B가 유사한 양으로 관계가 있을 때 연결되기 쉽다는 경향이 있어, 개인적인 경험상 가장 타당한 결과를 반환한다는 인상이 있습니다.

 

한편 A와 B가 같은 문장에 나오는 경우에도 A는 페이지에서 중요한 위치에 나타나고, B는 중요하지 않은 위치에 나타난다면 동일하게 취급해서는 안 된다느 관점도 있습니다. 이 경우 페이지 위치의 중요성에 따라 출현 빈도 가중치를 주어서 보다 정확한 연관성을 계산할 수 있습니다. 

 

이처럼 여러 개의 단어 간의 관련성을 찾아 도식화할 수 있습니다. 관련성 표를 통해 단어 X와 단어 Y의 관계를 알 수 있지만, 단어 X가 어떤 단어인지 다른 단어와의 관련성을 배제하고는 표현할 수 없습니다.

 

적은 정보량으로 연관성을 나타낼 수도 있습니다. 단어 A = (0.1, 0.4, 0.7, 0.3), 단어 B = (0.6, 0.2, 0.5, 0.2)와 같이 숫자 배열(벡터)로 단어를 표현하며, 벡터의 값이 가까울수록 의미가 가깝다는 의미입니다. 이처럼 단어를 벡터로 나타내는 방법을 '워드 임베딩(Word Embedding)'이라고 하며, AI가 학습하기 쉬운 형태의 정보입니다. 워드 임베딩 기술은 계속해서 새로운 방법이 생겨나고 있습니다. 단어 수가 많은 경우에 효과적이며, 연관성 정보의 손실은 방지하면서 계산량도 방대해지지 않을 뿐 아니라 수많은 사례를 통해 검증된 워드 임베딩 방법 중 하나인 'LINE(Large-scale Information Network Embedding)'에 대해 설명해보곘습니다. 

 

이 방법은 연관성이 높은 단어끼리 가급적이면 가까이 위치하도록 단어를 설계하는 방법입니다. 이 방법을 사용하면 단어의 연관성을 매우 적은 차원(정보량)에 압축할 수 있습니다. 필자의 경험으로는 수만 개의 단어를 100 x 100 = 10,000 픽셀의 평면의 어느 좌표로 나타내는 방대한 정보를 압축하더라도, 그 데이터를 이용한 AI 예측 시 충분히 정밀도 높은 결과가 나왔습니다.

 

p.74

사용자가 접한 단어나 페이지의 정보가 구조화되면 이번에는 그 정보를 사용자에게 부여합니다. 즉, 사용자와 키워드를 연결하는 것입니다. 이때 '제품을 구매한 사용자가 많이 보는 사이트나 페이지의 정보는 중요도가 높다'와 같이 사이트 및 페이지에도 가중치를 부여하는 조정을 통해 사용자 행동 예측의 정확도를 향상할 수 있습니다.