목표 : 실적지표 자동화하기
1. 이전 작업 환경
a. 엑셀로 수기 관리
b. 엑셀 크기만 100MB
2. Data Flow Diagram
3. 데이터 설계
4. Airflow란?
a. Airbnb에서 개발한 워크플로우 관리 도구
b. 스케쥴링
c. Python
d. DAG 구성
5. Airflow 구조
목표 : 파이프라인 구성하기
1. DAG이란?
a. Task로 구성
b. 방향성을 갖는 비순환 그래프 (Directed Acyclic Graph)
2. DAG in Airflow
a. DAG파일 = 워크플로우
b. Python 스크립트
c. Operator로 Task 정의
3. DAG 등록
4. DAG - Task 순서 구성
5. Airflow 운영
'CS > BackEnd' 카테고리의 다른 글
| 그림과 실습으로 배우는 도커 & 쿠버네티스 (0) | 2022.05.26 |
|---|---|
| 04. AWS와 함께 달성한 일일 5억 건 이상의 광고 데이터 처리 노하우 (0) | 2022.05.17 |
| Git 교과서 (0) | 2022.05.04 |
| 학교에서 알려주지 않는 17가지 실무 개발 기술 (0) | 2022.05.03 |
| [CS지식] www.naver.com을 입력해서 화면이 나타나기까지의 과정은 어떻게 되나요? (0) | 2022.04.22 |
댓글