CS/BackEnd23 04. AWS와 함께 달성한 일일 5억 건 이상의 광고 데이터 처리 노하우 리드 레플리카 데이터 플랫폼 구축의 필요성 - MySQL은 OLTP에 최적화된 데이터베이스 1. 성능의 한계 -> 데이터가 수백만 건을 넘어서는 시점부터 분석쿼리를 수행하기에는 MySQL의 성능 한계가 존재 2. 데이터 결합 -> 여러 서비스간의 데이터를 결합하여 분석하는데 어려움이 있습니다. 3. 아카이빙 -> 서비스 운영에 필요하지 않은 데이터를 MySQ에서 제거하여 불필요한 리소스 낭비를 막습니다. MSA의 원칙과 데이터 분석 1. MSA원칙 -> 각 서비스가 자신만의 데이터베이스를 가지고 있어야 한다는 점(for 서비스간의 종속성 최소화) 2. MSA vs 데이터 분석 -> MSA원칙 때문에 서비스 간의 데이터를 종합해서 보길 원하는 데이터분석 요구사항을 만족시키기 어려웠음 데이터 동기화 관련 1.. 2022. 5. 17. [데이터야놀자2020] Airflow로 똑똑한 배치관리하기 - 김은실님 https://www.youtube.com/watch?v=OB1euuIATkE&ab_channel=%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%95%BC%EB%86%80%EC%9E%90 목표 : 실적지표 자동화하기 1. 이전 작업 환경 a. 엑셀로 수기 관리 b. 엑셀 크기만 100MB 2. Data Flow Diagram 3. 데이터 설계 4. Airflow란? a. Airbnb에서 개발한 워크플로우 관리 도구 b. 스케쥴링 c. Python d. DAG 구성 5. Airflow 구조 목표 : 파이프라인 구성하기 1. DAG이란? a. Task로 구성 b. 방향성을 갖는 비순환 그래프 (Directed Acyclic Graph) 2. DAG in Airflow a. DAG파일 = 워크플로우 .. 2022. 5. 13. Git 교과서 p.25 코드와 콘텐츠의 변화를 관리하고 추적하는 소프트웨어를 버전 관리 시스템(VCS, Version Control System)이라고 합니다. 최초의 버전 관리 시스템은 유닉스 환경에서 사용 가능한 SCSS(Source Code Control System)입니다. SCSS는 1970년대 마크 로치킨드가 개발했으며, 이후 다양한 VCS 프로그램이 등장합니다. VCS에서 버전 파일들을 관리하고 저장하는 공간을 저장소(repository)라고 합니다. p.28 깃은 다음과 같이 몇 가지 특징으로 구분할 수 있습니다. - 대표적인 분산형 버전 관리 시스템입니다. 원격 저장소(remote repository)와 별개로 개발자 각각의 로컬 컴퓨터에 완벽한(원격 저장소의 내용과 동일한) 복제본 소스 코드를 저장할.. 2022. 5. 4. 학교에서 알려주지 않는 17가지 실무 개발 기술 https://coupa.ng/bMwVE7 한빛미디어 학교에서 알려주지 않는 17가지 실무 개발 기술 +미니수첩제공 COUPANG www.coupang.com p.22 개발자들은 문자열 인코딩 외 문자 집합(charset)이라는 용어도 함께 사용합니다. 엄격하게 구분하면 문자 집합은 사용할 수 있는 문자들의 집합을 말합니다. 유니코드, ISO-8859, ASCII 등이 이에 해당합니다. 반면 문자열 인코딩은 문자를 코드로 표현하는 방식을 일컫습니다. 예를 들어, 유니코드라는 문자 집합을 표현하는 문자열 인코딩은 UTF-8, UTF-16, UTF-32 등이 있습니다. 그러나 흔히 문자 집합과 문자열 인코딩을 혼용해서 사용합니다. p.23 과거에는 7비트 2진수만 사용했지만, 현대 운영체제들은 성능 향상과 .. 2022. 5. 3. [CS지식] www.naver.com을 입력해서 화면이 나타나기까지의 과정은 어떻게 되나요? https://www.youtube.com/watch?v=ZjA4sb2tLSU 정답 대기열, 캐싱, DNS, ARP, 라우팅, 초기연결, 비캡슐화, 캡슐화 과정을 거쳐 컨텐츠를 다운받게 되고 이후 브라우저 렌더링 과정을 거쳐 네이버라는 화면이 나타나게 됩니다. 1. 대기열 2. 캐싱 캐싱은 요청된 값의 결과값을 저장하고 그 값을 다시 요청하면 다시 제공하는 기술입니다. 캐시는 공유프록시캐시와 브라우저 캐시 두 가지로 나눠집니다. 2-1. 브라우저 캐시 브라우저 캐시는 쿠키, 로컬스토리지 등을 포함한 캐시입니다. 브라우저 자체가 사용자가 HTTP를 통해 다운로드 하는 모든 문서를 보유하는 것을 말합니다. ex) 사이트 갔다가 다시 방문하면 컨텐츠가 빨리 나오는 경우. 2-2. 공유 프록시 캐시 공유 프록시.. 2022. 4. 22. 이전 1 2 3 4 다음
