04. AWS와 함께 달성한 일일 5억 건 이상의 광고 데이터 처리 노하우

 

리드 레플리카

 

데이터 플랫폼 구축의 필요성 - MySQL은 OLTP에 최적화된 데이터베이스

1. 성능의 한계

-> 데이터가 수백만 건을 넘어서는 시점부터 분석쿼리를 수행하기에는 MySQL의 성능 한계가 존재

 

2. 데이터 결합

-> 여러 서비스간의 데이터를 결합하여 분석하는데 어려움이 있습니다.

 

3. 아카이빙

-> 서비스 운영에 필요하지 않은 데이터를 MySQ에서 제거하여 불필요한 리소스 낭비를 막습니다.

 

 

 

MSA의 원칙과 데이터 분석

1. MSA원칙

-> 각 서비스가 자신만의 데이터베이스를 가지고 있어야 한다는 점(for 서비스간의 종속성 최소화)

2. MSA vs 데이터 분석

-> MSA원칙 때문에 서비스 간의 데이터를 종합해서 보길 원하는 데이터분석 요구사항을 만족시키기 어려웠음

 

데이터 동기화 관련 

1. 데이터를 동기화할 때는 테이블 특성에 따라 다른 데이터 정합성 요구 수준을 파악하고 적절한 방법을 선택해야 함.

2. 한 가지 방법으로 통일하기 어려운 이유

-> 데이터 동기화 방법에 따라 동기화 성능과 데이터 정합성 간의 트레이드오프가 존재하기 때문.