좋은 데이터 팀은 어떻게 일하는가

데이터 팀의 발전 6단계

 

1. Active LV1 : A/B Test의 시작 + 우리 편 확보

a. '분석'만 해서는 수동조직을 피할 수 없음 (원래 수비수는 잘 기억이 안남)

b. A/B Test : 공격수가 되어야 한다. 변화를 이끌어내야함.

c. 처음에는 기능 테스트 말고 외부 마케팅 요소 (웹사이트, 푸시메시지, 이메일) 테스트가 편함 

(개발이 아니라서 준비기간도 적게 들고, 기능 제공 벤더도 많고, 누가 봐도 결과가 이해하기 쉬움 - google optimize, firebase a/b test, vwo.com, optimizely)

d. 첫 번째 실험, 결과 잘 나올때까지 조용히 현업과 진행 (보통 실적 힘든 부서가 협조적)

e. 잘 나온 결과로, 우리가 공격/실험한다! 크게 사내 마케팅, 다른 부서에서 연락오기 시작

 

2. Active LV2 : A/B 테스트 본격 도입 + 실험 지옥

a. 좀 더 구체적이고 어려운 A/B 요청이 오기 시작

b. 외부 제품의 고급(유료) 기능을 쓰거나, 자체 A/B Test 플랫폼을 구축

c. 내부 데이터를 활용한, 특정 유저 세그먼트를 대상으로 하는 A/B 테스트 요청이 많아짐 

(LTV 높은 유저, 가입한지 얼마 안된 유저, 'AAA' 기능을 써본 유저, 'BBB' 이벤트를 본 유저

d. UX를 벗어나, 새 기능이나 어떤 컨텐츠를 보여줄 것인가에 대한 앱/서버의 test가 시작됨

(어려워짐. 하지만 재미나고 스케일이 커짐)

e. 점차 실험수가 늘어남. 주당 동시 실험수가 1-> N개로 늘어남.

 

3. Active LV3 : 데이터 일의 분권화 + 자동화 + ML

a. 데이터로 일하는 방식은 사내에 많이 보급됨

(A/B테스트는 개별 부서에서 알아서 진행하고, 데이터 팀은 가끔 도움주는 정도로 진행)

b. 회사 비즈니스 코어를 데이터나 알고리즘으로 최적화, 자동화 하자는 대표님의 의견
(이 때 포지셔닝 잘 해야 함. 잘못하면 현업의 일을 뺏는 모양새가 될 수 있음. 현업 분들을 모아두고, 그 분들의 요청을 모아, '함께' 만드는 형상이 좋음)

c. 이외에도 여러 일들을 자동화, 최적화하는 일이 많아짐 + 머신러닝 엔지니어의 일이 많아짐

d. 데이터 팀은 회사의 메인 비즈니스를 만지고 있고, 우리는 보람을 느끼며 일하고 있음. 기쁘다!

 

어떻게 목표를 정할 것인가

 

1. OMTM(NorthStar Metric) 집중하기

a. 동시에 여러 개의 목표를 같이 최적화하다가는 보통 단 하나의 목표도 최적화하지 못함

 

 

2. 어떤 OMTM을 정해야 하나

a. 회사의 이익(매출)과 관련있을 수록 좋음

b. 갱신 주기가 빠를 수록 좋음. 더 발생건수가 많을 수록 좋음

c. 후행지표가 아니라 선행지표에 해당하는 것일수록 좋음

d. 우리가 조정의 핸들을 가지고 있어서 변화를 만들기 쉬울 수록 좋음

 

3. OMTM을 찾는 기술적 방법

a. 회사의 가장 중요한 매출 + 그 외 회사의 중요 지표들을 일정기간 추림

b. 이들 간의 상관관계 매트릭스를 그려봄

c. 그 중에서 매출과 가장 연관관계가 높은 지표를 선정

d. 지표가 후행지표이거나 우리가 컨트롤할 수 없다면, 이를 대신할 선행하는 2차 대리(proxy)지표를 찾아 선정

e. 여러 후보 중에는, 더 많은 유저가 데이터 포인트를 남기는 지표를 택함

 

4. 쇼핑몰의 예

a. 매출과 가장 상관성 높은 장바구니

b. 하지만 장바구니도 후행지표, 그리고 일부만 한다.

c. 그렇다면 장바구니와 가장 상관성이 높은 지표는?

d. '세션당 제품 조회수' (매출과도 장바구니와도)

e. 우리가 UX를 바꾸어 시도해볼 수 있음

f. 연관된 추천 상품, 베스트 상품 노출 등등 

g. 컨트롤 할 수 있을것 같다.

 

 

5. 게임회사의 예

a. 측정하고 싶은 것은 '얼마나 적극적으로 게임을 하는가?(활동성)' 하지만 활동성은 후행지표이므로 다른 대리 지표를 고른다.

b. 후보는 다음과 같다. - 하루당 로그인 수, 아이템 구매 수

c. 둘 다 활동성을 잘 나타내주지만, 전체 유저 5%만 하고 있는 '구매'와 달리 '하루당 로그인 수'는 모든 유저로부터 생성되고, 데이터 볼륨이 훨씬 크므로 하루당 로그인수

 

6. 좋은 지표들은 업의 본질에 대한 분석에서 나온다.

a. 이베이 - 아이템 등록한 판매자수 * 등록한 아이템 수 * 구매자 수 * 성공적인 거래 수 = 매출 성장

b. 아마존 - 상품 종류 확장 * 제품 페이지당 트래픽 * 구매 전환 * 평균 구매 가치 * 반복구매 행동 = 매출 성장

c. 우버 - 운전자의 수 * 승객의 수

d. 페이스북 - 사람들이 공유하는 아이템의 양 * 뉴스피드에 머무르는 시간

 

7. OMTM 뭐할지 혼란할 때, 보통 AARRR 중에서 잡는다.

a. Acquisition - 서비스 알리기(흔히 마케팅) : 방문자 수

b. Activation - 가입하고 써보기 : 가입자 수

c. Retention - 또 쓰기 : Retention Rate

d. Referral - 소문 낼 만큼 좋아하게 만들기 : K-factor

e. Revenue - 돈이 되는가 : 매출

 

 

데이터 팀의 발전 6단계