그로스해킹 - 양승화

https://coupa.ng/ca7T7n

그로스 해킹:데이터와 실험을 통해 성장하는 서비스를 만드는 방법

 

p.IV

열한 명의 뛰어난 선수들이 훈련에 최선을 다하고, 체중을 유지하고, 충분히 숙면을 취하고, 정확한 시간에 경기장에 나타나기만 한다면, 승리의 절반은 이미 이룬 셈이다. 그러나 놀랍게도 많은 구단들이 이 간단한 일을 해내지 못한다.

 

알렉스 퍼거슨 <리딩> 재인용

 

p.3

많은 시간과 노력을 투자해서 만든 제품이 알고 보니 아무도 원하지 않는 제품이라는 점을 뒤늦게 발견하는 것만큼 나쁜 일은 없다.

p.20

제품-시장 적합성을 만족하는 서비스는 초기 일정 기간이 지나면 그래프의 기울기가 완만해지면서 리텐션이 안정적으로 유지되는 패턴을 보인다. 하지만 그렇지 못한 서비스는 리텐션 그래프의 기울기가 꾸준히 우하향하는 패턴을 보인다.

https://brianbalfour.com/essays/product-market-fit

The Never Ending Road To Product Market Fit — Brian Balfour

p.21

실제로 리텐션이 영향을 미치는 핵심 기간은 서비스를 사용하기 시작한 직후부터 수일 이내다. 서비스에 대한 온보딩(On-boarding) 과정이 매우 중요하다는 점을 알 수 있다.

https://andrewchen.com/new-data-shows-why-losing-80-of-your-mobile-users-is-normal-and-that-the-best-apps-do-much-better/

New data shows losing 80% of mobile users is normal, and why the best apps do better at andrewchen

p.24~25

2020년 어도비 디지털 인덱스에서 발표한 자료에 의하면 이커머스 서비스의 평균적인 구매 전환율은 3% 수준이다. 하지만 같은 이커머스 서비스 내에서도 상품이 속한 카테고리에 따라 전환율이 2~3배 이상 차이가 나기도 한다. 구매 의도가 분명한 선물이나 건강 관련 상품의 전환율은 상대적으로 높게 나타나는 반면, 단가가 높고 가격 경쟁이 치열한 전자기기 상품의 경우 1.4% 수준의 낮은 전환율을 보인다. 즉, 어떤 상품을 다루는 서비스인지에 따라 목표로 하는 전환율은 달라질 수 있다는 점을 감안해야 한다.

 

https://news.adobe.com/news/news-details/2020/Adobe-Unveils-First-Digital-Economy-Index/default.aspx

Adobe Unveils First Digital Economy Index

 

https://business.adobe.com/content/dam/dx/us/en/resources/reports/adobe-digital-economic-index-april-2021/Digital_Economy_Index_April_2021.pdf

 

p.25

전환율에는 카테고리 외에도 다양한 변수가 영향을 미친다. 똑같은 상품에 대한 전환이라도 친구 초대를 통해 들어온 사람과 디스플레이 광고를 통해 들어온 사람은 전환율에 차이가 난다.

https://www.optimizely.com/globalassets/03.-global-documents/reports/b2c_benchmarkreport_2019.pdf/download

https://www.netigate.net/articles/human-resources/enps-how-engaged-are-your-employees/

eNPS Employee Net Promoter Score - how engaged are your employees?

p.30

실제로 스타트업에서 새로운 서비스를 출시했을 때 성공을 가늠할 수 있는 좋은 방법은 충성 사용자를 살펴보는 것이다. 서비스를 적당히 좋아하는 1000명의 사용자보다는 서비스를 열렬히 사랑하는 100명의 충성 사용자를 확보했을 때 그 서비스가 성공할 확률이 크게 높아진다.

 

p.31

만약 우리 서비스가 제품-시장 적합성을 충분히 만족하지 못하는 것처럼 보인다면 이를 개선하기 위해 어떤 것들을 할 수 있을까? 이 시기에 해서는 안 되는 것과 해야 하는 것을 정리하면 다음과 같다.

 

해서는 안되는 것

- 브레인스토밍

- 새로운 기능을 추가하는 것

- 잔존율이나 전환율을 개선하기 위한 실험

 

해야 하는 것

- 사용자를 직접 만나서 이야기를 듣기

- 사용자 행동 데이터 분석

 

이 시기에 해야 하는 가장 중요한 일은 사용자에 대해 더 많이 연구하고, 사용자를 이해하려고 노력하는 것이다.

 

p.40

어떻게 하면 더 효율적으로 지표 관리를 할 수 있을까?

 

우선적으로 고려해야 하는 점은 회사 조직도에 따라 지표를 나눠서 제각각 관리하지 말고 사용자의 서비스 이용 흐름(Use Flow)에 따라 단계별 주요 지표를 전체 서비스 관점에서 정의해야 한다는 점이다. 즉, 유저가 들어오는 순간부터 나가는 순간까지를 모두 포괄하는 일종의 퍼널(funnel)을 만들고, 각 단계에서 핵심이 되는 지표가 무엇인지를 찾아야 한다. 앞에서 살펴본 것처럼 과업에서부터 출발해서 지표를 정의하는 것과는 정반대로, 지표를 우선 정의한 후 해당 지표를 원하는 방향으로 움직이게 하기 위해 어떤 과업이 필요할지를 거꾸로 고민해야 한다. 

 

p.43

AARRR의 가치는 단순히 단계별로 지표를 모니터링하는 데서 그치지 않는다. 특히 '고객 유치(Acquisition) 단계에서는 DAU를 봐야하고, 활성화(Activation)단계에서는 이탈율(Bounce Rate)을 봐야하고...' 같은 식으로 서비스의 특성이나 포지셔닝을 고려하지 않고 단계별로 무조건 정해진 몇 개의 지표가 있다고 설명하는 경우도 봤는데, 이는 AARRR을 완전히 잘못 이해한 것이다. 사실 지표를 정의한 이후 지표를 계산하거나 모니터링하는 건 누구나 할 수 있다. 중요한 건 서비스의 특성에 따라 카테고리별로 어떤 지표를 봐야할지를 선정하는 과정, 그리고 지표를 개선하기 위해 어떤 실험을 어떤 우선순위에 따라 진행할지를 결정하고 실행할 것인가다.

 

p.47

여기서 꼭 짚고 넘어가야 할 점이 있다. 이러한 분석 서비스에서 정의하는 'Direct' 혹은 'Organic'이라는 분류가 '자발적으로 우리 서비스를 찾아온'에 해당하는 것이 아니라는 점이다. 예를 들면, 구글 애널리틱스에서는 유입된 트래픽이 특정 파라미터(parameter) 값을 가지고 있으면 해당 파라미터 값을 기반으로 유입 출처를 분류한다. 반면 아무런 파라미터 값도 갖지 않은 트래픽은 'Organic'으로 분류한다. 마찬가지로 앱스플라이어 같은 어트리뷰션 서비스의 경우 앱 설치 이벤트가 발생했을 때 어트리뷰션 링크의 미디어 소스를 바탕으로 앱 설치 기여도를 판단한다. 하지만 아무런 미디어 소스도 없다면 이를 '자연유입으로 인한 설치(Organic install)'로 구분한다. 뭔가 이상하다는 것을 눈치챘는가? 일반적으로 오가닉이라는 분류는 '자발적으로 유입된 사용자'라는 의미로 사용되지만 실제 트래킹 서비스에서 이 분류를 나눌 때의 기준은 '유입된 채널을 식별할 수 없는 사용자'에 가깝다.

 

p.48

고객 유치 데이터를 분석할 때 중요한 포인트는 오가닉 트래픽의 비중을 높이는 것이 아니라 가능한 한 많은 트래픽들을 식별해서 미식별 트래픽의 비중을 최대한 줄이는 방향이어야 한다.

 

결론적으로 고객 유치와 관련해서 풀어야 하는 문제는 다음과 같다.

- 어떻게 하면 사용자의 유입 채널을 최대한 누락 없이 정확하게 추적하고

- 각 채널별 성과를 정확히 판단할 수 있을까?

 

p.49

고객 획득 비용을 계산하는 데 가장 흔히 사용되는 방법은 마케팅에 사용한 비용을 가입한 유저 수로 나누는 방법이다. 가령 광고비를 2천만 원 써서 가입자 5천 명 생겼다면 고객 획득 비용은 4,000원이라고 계산할 수 있다. 하지만 실제 현실에서 이런 식의 계산은 전혀 쓸모가 없다. 채널, 캠페인, 날짜 등을 고려하지 않고 그냥 전체 마케팅 예산과 전체 가입자 수를 나누는 것으로는 얻을 수 있는 인사이트가 전무하기 떄문이다. 고객 획득 비용 지표를 활용하는 것의 핵심은 채널별, 캠페인별, 광고별, 날짜별 데이터를 쪼개서 보는 데 있다. 여러가지 조건에 따라 고객 획득 비용을 각각 쪼개서 계산할 수 있다면 '어느 채널에 얼마의 기간 동안 어떤 캠페인으로 얼마의 예산을 집행할 것인가'라는 질문에 답할 수 있게 된다.

 

p.59

어트리뷰션 서비스별로 조금씩 다르지만 어트리뷰션 서비스에서 사용자를 정확히 식별하기 위해서는 인스톨 레퍼러(install referrer), 디바이스 아이디 매핑(device ID mapping), 핑거프린팅(Fingerprinting) 등의 기술적인 방법이 활용된다. 사실 각 기술에 관한 세부적인 내용까지 몰라도 어트리뷰션 데이터를 활용해 유입 성과를 파악하는 데는 문제가 없다. 각 서비스별로 어트리뷰션 구현 방식이나 세부적인 로직을 확인하려면 다음 URL을 참고하자.

 

앱스플라이어 : https://support.appsflyer.com/hc/ko/articles/207447053-%EC%96%B4%ED%8A%B8%EB%A6%AC%EB%B7%B0%EC%85%98-%EB%AA%A8%EB%8D%B8-%EC%84%A4%EB%AA%85

브랜치 : https://help.branch.io/using-branch/docs/branch-attribution-logic-settings

 

Branch Attribution Logic & Settings

애드저스트 : https://docs.adjust.com/ko/network-integration

Adjust Help Center

에어브릿지 : https://help.airbridge.io/hc/ko/articles/900003300526

 

p.61

기여 채널의 성과를 판단하기 위해서는 기여 이벤트(여기서는 페이스북 광고 클릭)가 발생한 후 어느 정도의 기간 내에 발생한 어트리뷰션을 해당 채널의 성과로 인정할 것인가에 대한 기준이 필요하다. 만약 페이스북 광고 클릭에 대한 어트리뷰션 윈도우가 7일이라면 페이스북 광고를 클릭하고 6일이 지난 뒤에 앱 설치를 한 것은 페이스북 광고 성과로 인정받는다. 

 

p.78

많은 마케팅팀에서 빠지기 쉬운 함정 중 하나가, 고객 유치 성과가 정체된 것처럼 느껴질 때 기존 채널에 대한 최적화를 고민하기보다는 새로운 채널을 찾고 테스트하는 데 지나치게 많은 리소스를 쓰는 것이다. 

 

p.79

채널 확장은 예산이 아니라 채널의 포화도(Saturation)을 바탕으로 결정해야 한다.

 

p.82

퍼널 분석을 진행할 때는 다음과 같은 세 가징 요소를 고려해야 한다.

 

- 핵심 가치를 경험하는 시점과 그곳으로 연결되는 각 단계를 잘 정의했는가?

- 각 단계별 전환율을 어떤 기준으로 측정하는가?

- 코호트(Cohort)에 따른 퍼널별 전환율을 보고 있는가?

 

p.86~87

상품 페이지에 쿠폰에 대한 정보가 있지만 거기서 쿠폰을 바로 다운로드 받을 수는 없고 링크를 클릭해서 쿠폰 페이지로 이동한 다음, 쿠폰을 받고 다시 상세 페이지로 넘어와서 결제해야 하는 (불편한) 서비스가 있다고 가정해보자.

 

이 서비스의 결제 전환율을 확인하려고 한다.

 

사용자1 : 상품페이지 -> 쿠폰페이지 -> 상품페이지 -> 결제 완료

사용자2 : 상품페이지 -> 쿠폰페이지 -> 상품페이지 -> 결제 완료

사용자3 : 상품페이지 -> 쿠폰페이지 -> 상품페이지 -> 결제 완료

사용자4 : 상품페이지 -> 쿠폰페이지 -> 상품페이지 -> 결제 완료

사용자5 : 상품페이지 -> 쿠폰페이지 -> 이탈

 

위와 같은 사용자 행동이 기록돼 있다면 전환율을 어떻게 계산할 수 있을까?

 

- 트래픽(pageview)을 기준으로 한 전환율은 4/9 = 44%다. 상품 페이지는 총 9번 노출됐고, 결제 완료 페이지는 4번 노출됐기 때문이다.

- 사용자(user)를 기준으로 한 전환율은 4/5 = 80%다. 총 5명의 사용자가 상품 페이지에 진입했는데, 최종적으로 결제 완료까지 전환된 사용자는 4명이기 때문이다.

 

p.88

일반적으로 트래픽을 기준으로 한 전환율을 살펴보는 것은 UX/UI 측면에서의 개선점을 찾는 데 도움을 준다. 이에 반해 사용자를 기준으로 한 전환율은 UX/UI를 포함한 다양한 요소(상품의 매력도나 가격)의 영향력이 종합적으로 반영되는 지표라고 할 수 있다.

 

p.88~89

전체 사용자들을 대상으로 한 주요 단계별 전환율을 살펴보는 것만으로는 발견할 수 있는 인사이트가 제한적이고, 전환율을 개선하기도 어렵다. 전환율 지표는 전체 사용자를 대상으로 확인할 때보다 여러 그룹으로 쪼개서 볼 때 훨씬 더 강력한 의미를 지닌다. 예를 들면, '우리 서비스 사용자들의 평균 결제 전환율은 50%다'라는 데이터보다는 '페이스북 광고를 통해 가입한 사용자의 결제 전환율은 40%고, 친구 초대를 통해 가입한 사용자의 결제 전환율은 60%다'라는 식으로 그룹별 전환율을 비교할 때 훨씬 더 큰 인사이트를 얻을 수 있고, 명확한 개선 아이템을 제안할 수 있다.

 

p.95~96

리텐션은 일반적으로 접속을 기준으로 측정한다. 하지만 리텐션의 기준이 되는 행동을 꼭 접속으로 한정할 필요는 없다. 일반적으로 접속이나 로그인을 기준으로 리텐션을 측정하는 이유는 사용자가 서비스에 진입하는 것이 유의미한 행동이며, 이러한 행동이 반복되는지 살펴보는 것이 중요하기 때문이다. 서비스에 따라 다르겠지만 꼭 접속이 아니더라도 다음과 같은 주요 이벤트는 시간의 흐름에 따라 반복 여부를 살펴보는 것이 의미가 있다.

 

- 상품 페이지 5개 이상 방문

- 구매하기 클릭

- 구매 완료

- 재구매

- 친구 초대

- 메시지 주고받기

- 콘텐츠 시청

 

p.102

일반적으로 롤링 리텐션은 사용 빈도가 높지 않은 서비스에서 유용하게 활용된다. 의류 쇼핑 서비스(단골 쇼핑몰이라고 해도 사람들이 매일 옷을 사지는 않는다), 여행 서비스(여행 마니아라고 해도 매일 항공권을 예약하지는 않는다)등 사용자의 리텐션을 측정하고 관리해야 하지만 접속/사용 빈도가 드물게 나타나는 서비스라면 유지율을 관리하는 데 롤링 리텐션이 유용하게 활용될 수 있다.

 

p.103

Engagement = DAU/MAU

 

인게이지먼트 지표는 매일 동일한 사용자가 반복적으로 들어오는지 혹은 날마다 새로운 사용자가 들어오는지를 빠르게 가늠할 수 있게 해준다. 이 지표는 사용자들이 꾸준히 들어와서 주기적으로 사용하는 서비스에서 사용하기에 적합하다. 앞서 언급한 전화, 메신저, SNS 등 클래식 리텐션에 잘 맞는 서비스가 여기에 해당한다.

 

p.106

리텐션 차트를 통해 유용한 인사이트를 얻으려면 차트를 통해 다음 질문의 답을 찾아봐야 한다. 기본적으로 리텐션은 시간에 따른 변화 추이를 민감하게 살펴봐야 하는 지표다.

 

- 하나의 코호트 안에서 기간에 따른 유지율을 봤을 때 그 추이가 어떠한가? 유지율이 급격하게 떨어지지 않고 안정화되는 지점이 있는가? 대략 어느 정도 기간이 지나야 안정화된다고 볼 수 있는가?

- 서로 다른 코호트의 동일한 기간의 유지율을 비교하면 어떠한가? 2020년 1월 가입자와 2020년 5월 가입자의 60일 리텐션에 차이가 있는가?

- 기간에 따라 나눈 코호트의 규모는 어떻게 달라지고 있는가? 가입자(혹은 접속자)가 꾸준히 증가하는 추세인가, 그렇지 않다면 유지되거나 감소하는 추세인가?

 

p.113

명확한 개념적 정의와는 다르게, 실제로 ARPU를 계산하는 과정은 생각만큼 수월하지 않다. ARPU를 구하기 위한 '사용자'와 '매출'의 정의가 모호하기 때문이다. 가령 ARPU를 구할 때 사용하는 사용자는 누적 가입자 전체일까? 혹은 DAU나 MAU로 봐야할까? 결제에 대한 지표이므로 가입자가 아니라 결제자를 봐야할까? 마찬가지로 매출의 기준이 되는 기간은 언제부터 언제까지일까? 지금까지의 누적 매출을 봐야할까? 아니면 이번 달 매출이나 오늘의 매출을 봐야할까?

 

ARPU를 특정 시점의 스냅샷이라고 오해하는 경우가 간혹 있는데, ARPU는 시작과 끝이 있는 특정 기간에 대한 지표다. 즉, '현재 시점의 ARPU'같은 지표는 존재하지 않는다. 기준을 명확하게 세우지 않은 상태에서는 ARPU가 굉장히 모호한 지표일 수 있으므로 ARPU를 구하려면 먼저 전사적으로 통용되는 명확한 기준을 세워야 한다.

 

p.115

조성문 lTv

 

p.118

고객생애 매출을 활용할 때의 중요한 포인트는 우리 서비스의 전체적인 고객 생애 매출을 딱 떨어지는 숫자로 요약하는 것에 집착할 필요가 없다는 점이다. 고객 생애 매출은 전체 회원을 대상으로 하는 하나의 지표로 계산해서 관리하기보다는 코호트를 잘 나누고 코호트별 고객 생애 매출의 추이가 어떻게 변화하는지 살펴보는 편이 훨씬 더 유용하다. 이 경우 가장 일반적으로 활용되는 코호트 분류 기준은 '가입 시점'이 된다.

 

p.121

현실적으로는 고객 생애 매출보다는 고객 획득 비용이 조금 더 변화시키기 쉬운 지표이기 때문에 이쪽에 먼저 집중하는 경우가 많다. 비즈니스 모델이나 수익 구조를 단기간에 바꾸기는 쉽지 않지만 고객 획득을 위한 마케팅 채널이나 소재는 비교적 쉽게 테스트할 수 있기 때문이다. 따라서 현실에서는 이 두 지표를 다음과 같은 형태로 많이 사용한다.

 

1. 고객 생애 매출을 먼저 구한다. 앞서 설명한 대로 가입 코호트를 활용해 코호트별 비교를 하거나 고객 생애 매출의 기간별 변화 추이를 살펴보면 좋다.

2. 고객 생애 매출을 고려해서 목표로 하는 고객 획득 비용 수준을 정한다. 수익 구조나 마진을 고려해서 고객 생애 매출의 1/5~1/10 정도를 목표로 잡으면 좋다. 이 수치가 마케팅을 진행할 때의 의사결정 기준이 된다.

 

p.122

매출 = 결제자수 * ARPPU

매출 = 활동회원 * 결제비율 * ARPPU

매출 =  가입자 * 리텐션 * 결제비율 * ARPPU

매출 = 설치 수 * 가입전환율 * 리텐션 * 결제비율 * ARPPU

 

p.132

바이럴 계수 = 사용자 수 * 초대 비율 * 인당 초대한 친구 수 * 전환율 / 사용자 수 

 

p.133

추천 시스템에 대한 효과를 분석할 때는 바이럴 계수를 구하는 것과 함께 '초대의 주기가 얼마나 빠른가?'를 꼭 고려해야 한다.

 

p.140~141

MAU에 대한 조작적 정의를 생각해보자. MAU를 최근 30일간 우리 서비스에 로그인한 사용자라고 정의하면 될까? 만약 그렇다면 단순히 방문만 한 사용자들은 집계되지 않는다. 이 같은 정의에 따르면 회원 가입을 하지 않고 서비스를 둘러보다가 이탈한 사용자, 혹은 이전에 회원 가입을 했더라도 최근 한 달 사이에 방문만 하고 로그인하지 않은 사용자들은 MAU에 포함되지 않을 것이다. 로그인과 상관없이 방문한 사용자 전체를 MAU로 집계하는 건 어떨까? 이 경우에는 한 사용자가 앱과 웹 양쪽으로 방문했다면 이를 1명으로 세어야 할까?(크로스 플랫폼에 대한 사용자 식별 기술들이 발전하고 있긴 하지만 이 부분은 여전히 까다로운 문제다.) 한 사람이 여러 브라우저를 통해 접속하는 경우 어떻게 구분할 수 있을까? 오전에는 모바일 앱으로 접속하고 오후에는 PC 웹으로 접속한 동일 사용자를 MAU에서 1명으로 세어야 할까?

 

당연한 말이지만 MAU를 집계하려면 MAU를 어떻게 측정할지에 대한 명확한 기준이 있어야 한다. 놀랍게도 많은 서비스에서는 이 과정을 생략한 채 그때그때 서로 다른 기준에 따라 지표를 집계하고 활용하는데, 이 때문에 같은 서비스를 이용하는 사람들 사이에서도 지표에 대해 서로 다르게 생각하는 경우가 매우 빈번하게 발생한다. 실제로 이러한 기준 자체가 서비스마다 다르기 때문에 데이터 분석 툴에서 보여주는 활성 사용자 지표도 모두 다르게 나타나는 것이 당연하다. 구글 애널리틱스에서 보는 28일 활성 사용자, 파이어베이스 애널리틱스에서 보는 MAU, 자체 데이터베이스에서 집계하는 로그인 유저, 앱스플라이어 등의 또다른 서드파티 서비스에서 집계하는 MAU 숫자는 모두 제각각이다. 이 가운데 어떤 수치를 우리 서비스의 MAU라고 할 수 있을까?

 

p.148

CPC만으로 광고 성과를 판단하는 것은 적절하지 않다. 왼쪽 페이스북 광고에서 발생하는 클릭과 오른쪽 배너 광고에서 발생하는 클릭은 그 가치가 다르기 때문이다. 왼쪽 페이스북 광고는 실제 상품에 관심을 가진 사람들이 더 많은 정보를 보기 위해 클릭했을 확률이 높다. 그렇다면 오른쪽 배너 광고를 클릭한 사람도 상품에 관심을 가진 사람들일까? 오히려 기사를 읽기 위해 배너를 닫으려고 하다가 버튼을 잘못 클릭해서 광고를 클릭하는 사람들이 더 많지 않을까? 사실 이러한 판단 오류를 방지하기 위해서 마케터는 광고 관리자 화면에서 볼 수 있는 지표와는 별개로 광고가 노출되는 지면의 형태, 그리고 해당 지면을 많이 방문하는 사용자의 특성을 알고 있어야 한다. 이처럼 단순히 클릭율이나 클릭당 단가라는 부분 최적화 지표에 매몰되면 전체 관점에서의 최적화를 놓칠 수 있다는 점에 주의하자.

 

p.155

국가별 크로스셀 비율은 꾸준히 증가하고 있는데 왜 전체 크로스셀 비율은 낮아졌을까? 그 이유가 그림 4-8에 나타나 있다. 국가별로 보면 모두 전월에 비해 크로스셀 비율이 증가했지만 크로스셀 비율이 높았던 일본 여행이 전체에서 차지하는 비중이 줄어들면서 전체 국가를 기준으로 한 크로스셀 비율이 전월 대비 하락한 것이다. 

 

p.157~158

결론부터 이야기하면 이탈에 영향을 미친 중요한 변수는 예상대로 커플 연결 횟수가 맞았다. 사용자들이 한 달 동안 평균 2.3회나 연결됐는데 왜 이탈을 하게 됐을까? 그래프를 그려서 확인해 보니 평균이 설명해주지 못한 중요한 사실을 알 수 있었다. 가입 후 1개월간 커플 연결 횟수에 대한 그래프를 그려본 결과는 그림과 같았다.

 

이탈하는 대부분의 사용자는 한 달 동안 단 한 번도 커플 연결이 되지 않았다. 절대다수의 사용자는 커플 연결 횟수가 0이었다. 다만 인기 있는 소수의 사용자는 한 달 동안 엄청나게 많이 커플 연결에 성공했다. 외모가 매력적이거나 좋은 조건을 가진 소수의 사용자는 거의 한 달 내내 커플 연결이 되기도 했다. 결과적으로 한 달 동안 커플 연결 횟수가 0인 대다수의 사용자는 서비스에 실망해서 이탈하고, 커플 연결 횟수가 30회에 가까운 소수의 사용자는 그 사이에 남자친구나 여자친구를 만들었기 때문에 이탈하고 있었다.

 

p.158

데이터가 정규분포에 가까우면 평균을 대푯값으로 사용해도 별 문제가 없지만 데이터가 정규분포가 아니거나 아웃라이어(outlier, 이상치)가 있는 경우 평균은 그 데이터를 대표하지 못하는 경우가 많다. 실제로 통계학에서는 중앙값이나 최빈값 같은 대푯값들을 데이터 특성에 맞게 사용한다. 분석 대상 데이터 세트에 아웃라이어가 있거나 분포를 알 수 없는 경우라면 중앙값을 대푯값으로 사용하는 것을 적극적으로 고려해 볼 필요가 있다. 중앙값은 평균보다 훨씬 더 안정적이며 몇 개의 아웃라이어가 있다 해도 흔들리지 않는다.

 

p.166

지표를 잘 활용하기 위해 가장 우선적으로 고려해야 하는 것은 "지금 가장 중요한 지표가 무엇인가?" 라는 질문에 답하는 것이다. 현실적으로 앞서 소개한 모든 지표를 측정하고 관리하기는 어렵다. 만약 가능하다고 하더라도 모든 지표를 모니터링하고 관리한다는 것은 엄청난 리소스의 낭비다. 서비스가 성장하면서 필요한 지표들은 계속 늘어나기 마련이고, 기본적으로 시스템의 도움을 받더라도 100% 자동화할 수 없으며, 일정 수준까지는 사람이 직접 챙겨야 하는 부분이 있기 때문이다. 이러한 지표 수집과 측정을 자동화한다고 하더라도 그것으로 문제가 해결되지는 않는다. 매일 같이 수십 개의 지표를 들여다보는 일 자체로는 그 어떤 가치도 만들어내지 못하기 때문이다.

 

p.168

OMTM을 정의하기 위해 질문해 봐야 하는 것들은 다음과 같다.

1. 어떤 비즈니스 모델을 가진 서비스를 만들고 있는가?

2. 서비스 라이프 사이클을 고려할 때 우리는 어떤 단계에 있는가?

3. 지금 가장 신경쓰이는 단 하나의 문제를 찾아보자. 어떤 문제인가?

4. 우리가 원하는 행동을 하는 사용자와 그렇지 않은 사용자는 무엇이 가장 다른가?

5. 4번을 구분할 수 있는 이벤트나 속성은 무엇인가? 그 추세가 달라지는 지점은 어디인가?

 

p.171

KPI에 관해 농담처럼 하는 이야기가 하나 있는데 "기획팀도 KPI를 달성했고 개발팀도 KPI를 달성했고 마케팅팀도 KPI를 달성했는데 왜 올해 우리 서비스 실적은 이것밖에 안 되나?"라고 질책했다는 어느 경영진의 이야기다. 모든 부서가 KPI를 달성했다면 서비스가 고속성장하고 있어야 할 것 같은데 실제로는 그렇지 않은 경우를 굉장히 많이 목격한다. 이는 KPI 달성과 서비스의 성장이 서로 연결돼 있지 않다는 의미로 이해할 수 있다. 반면 OMTM으로 설정한 지표가 원하는 방향으로 움직이고 있다면 그것은 명확하게 그 서비스가 올바른 방향으로 성장하고 있음을 의미한다. OMTM자체가 서비스의 성장과 직결되기 때문이다. 그런 의미에서 OMTM은 그 자체로 서비스가 진짜 잘 되고 있는지를 알려주는 중요한 지표라고 할 수 있다.

 

p.185

행동 로그 설계의 핵심은 이벤트의 속성을 어떤 수준으로 함께 남길 것인가를 정의하는 부분이다. 이벤트 속성은 특정 이벤트가 발생했을 때 함께 남길 수 있는 세부정보라고 생각하면 된다.

 

p.187

	구분	얻을 수 있는 인사이트
1단계	단순 이벤트 집계	오늘 하루 동안 상품 상세보기 버튼 클릭 수는 100입니다.
2단계	이벤트 속성 집계	상품 상세보기 클릭이 100회 발생했는데, 이 가운데 60번은 애완동물 카테고리에 있는 상품을 클릭했습니다. 할인 이벤트 섹션에 있는 상품 클릭이 가장 많았으며, 클릭한 상품의 평균 가격은 7만 5천원입니다. 상품별로는 뉴트로 초이스 키튼 사료 상품의 클릭이 25회로 가장 많았고, 이 상품의 평점은 3.5점입니다.
3단계	이벤트 속성 + 사용자 속성 집계	상품 상세보기 클릭이 100회 발생했는데, 이 가운데 60번은 애완동물 카테고리에 있는 상품을 클릭했습니다. 할인이벤트 섹션에 있는 상품 클릭이 가장 많았으며, 클릭한 상품의 평균 가격은 7만 5천원입니다. 상품별로는 뉴트로 초이스 키튼 사료 상품의 클릭이 25회로 가장 많았고, 상품의 평점은 3.5점입니다. 이 상품을 클릭한 사람 중 25%는 당일에 가입했으며, 여성 비율이 70%입니다. 상품 상세보기를 클릭한 사람의 40%는 쿠폰을 가지고 있고, 일주일 이내 쿠폰이 만료되는 사람이 그 중 75%입니다.

p.190

https://brunch.co.kr/@leoyang99/15

모바일 앱 로그분석, 어떻게 시작해야 할까?

p.197

실험 집단을 선별할 때 공정한 샘플링을 위해 랜덤 추출을 하면 되지 않느냐고 생각하기 쉬운데, 많은 사람들이 랜덤추출과 편의 추출을 혼동한다. 랜덤 추출은 통제변수가 잘 관리된 것을 전제로 모든 표본이 동일할 확률을 가진 상태에서 뽑는 무작위 추출을 의미한다. 즉, 통제 변수 관리가 잘 되지 않는 상태라면 랜덤 추출이라는 말을 써서는 안 된다. 실험 집단과 통제 집단을 구분할 때 흔히 회원 번호를 홀/짝으로 나누거나 가입 시간을 홀/짝으로 나누는 방법이 사용되는데, 이렇게 실험 그룹을 나누는 것이 랜덤 샘플링이라고 할 수 있을까? 그럴 수도 있지만 아닐 수도 있다. 위 예시와 같이 서비스 소개를 보여주는 방식에 따른 가입 전환율을 보고 싶다고 했을 때 단순히 회원 번호를 홀/짝으로 나누기만 했다면 실제로는 랜덤 추출이 되지 않았을 가능성이 있다. 가입 경로라는 통제 변수가 고려되지 않았기 때문이다. 만약 회원번호가 홀수인 가입자 중에서 유료 광고를 통해 유입된 사용자가 많았다면 독립변수(서비스 소개를 보여주는 방식)와 무관하게 짝수 가입자의 가입 전환율이 더 높게 나타날 수 있다. 이처럼 제3의 변수가 종속 변수에 영향을 미칠 수 있다고 판단된다면 이를 통제 변수에 포함해서 샘플링 과정에 반영함으로써 종속 변수에 미치는 영향을 차단해야 한다.

 

p.216~217

본격적인 실행 단계에 들어가기에 앞서 목표를 명확하게 정의할 필요가 있다. 그로스 조직을 통해 이루고 싶은 목표가 무엇인가? 그리고 어떤 지표를 바탕으로 그 목표의 달성 여부를 판단할 수 있는가를 우선 정의해야 한다. 또한 목표 달성 여부를 측정하는 정확한 지표와 그 기준에 대한 조작적 정의를 하고 이를 모든 구성원들이 동일한 수준으로 이해해야 한다.

 

목표는 정성적, 개념적인 언어로 표현할 수 있다('자주 방문하는 충성 고객을 늘린다'). 하지만 지표는 명확하게 측정 가능한 수준으로 구체화해야 한다. (가령, '충성 고객 증가는 리텐션으로 판단하며, 리텐션은 30일 클래식 리텐션 기준으로 가입 기준 1개월 동안의 지표를 확인한다.')

 

목표와 핵심 지표가 정해지면 해당 지표의 현재 수준은 어떠한지 확인하는 것이 필요하다('지난 3월에 가입한 회원을 기준으로 한 30일 클래식 리텐션은 25%다'). 그리고 이 지표를 어느 수준까지 변화시킬 것인지에 대한 목표치도 미리 설정해야 한다('가입 기준 1개월동안의 30일 클래식 리텐션을 45% 수준으로 올리는 것을 목표로 한다')

 

p.234

숫자에 약한 사람들을 위한 통계학 수업

통계학 도감

데이터 과학을 위한 통계

따라하며 배우는 데이터 과학

 

p.235

구글애널리틱스 아카데미

태블로 공식 학습자료

Appsflyer support

braze documentation

redash knowledge base

페이스북 광고주 지원센터

 

p.235

- 우리 서비스는 어떤 카테고리에 속해있고 경쟁자는 누구인가?

- 그 카테고리에 속한 서비스는 어떤 특성이 있는가?

- 서비스 사용자는 누구이고, 어디에서 만날 수 있는가?

- 우리는 어떻게 돈을 벌고 있는가?

- 우리 서비스와 관련된 법이나 규제는 어떠한가?

- 우리 서비스 및 관련 카테고리는 지난 10년간 어떻게 발전해왔는가?