airflow3 Apache Airflow 기반의 데이터 파이프라인 p.xvii 파이프라인이 동적으로 바뀌거나 실시간 스트림 처리 환경에선 적합하지 않다고 하니 참고해 주세요. p.9 잘 알려진 몇 가지 워크플로 관리자와 이들의 주요 특성에 대한 개요 이름 시작회사 워크플로 정의 개발 언어 스케쥴 관리 백필 사용자 인터페이스 플랫폼 설치 수평 확장 Airflow Arirbnb 파이썬 파이썬 예 예 예 Anywhere 예 Argo Applatix YAML Go 3rd party 예 Kubernetes 예 Azkaban LinkedIn YAML Java 예 아니오 예 Anywhere Conductor Netflix JSON Java 아니오 예 Anywhere 예 Luigi Spotify 파이썬 파이썬 아니오 예 예 Anywhere 예 Make Custom DSL C 아니오 .. 2024. 1. 9. Running Airflow 2.0 with Docker in 5 mins https://www.youtube.com/watch?v=aTaytcxy2Ck&ab_channel=DatawithMarc 1. curl -LfO "https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml" 2. mkdir ./dags ./plugins ./logs 3. echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env 4. docker-compose up airflow-init 5. docker-compose up 6. localhost:8080 들어가보기 Bonus1 (Interact with airflow docker) - docker exec containerID + airflow.. 2022. 5. 26. [데이터야놀자2020] Airflow로 똑똑한 배치관리하기 - 김은실님 https://www.youtube.com/watch?v=OB1euuIATkE&ab_channel=%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%95%BC%EB%86%80%EC%9E%90 목표 : 실적지표 자동화하기 1. 이전 작업 환경 a. 엑셀로 수기 관리 b. 엑셀 크기만 100MB 2. Data Flow Diagram 3. 데이터 설계 4. Airflow란? a. Airbnb에서 개발한 워크플로우 관리 도구 b. 스케쥴링 c. Python d. DAG 구성 5. Airflow 구조 목표 : 파이프라인 구성하기 1. DAG이란? a. Task로 구성 b. 방향성을 갖는 비순환 그래프 (Directed Acyclic Graph) 2. DAG in Airflow a. DAG파일 = 워크플로우 .. 2022. 5. 13. 이전 1 다음
