Airflow 소개

Airflow 소개 Airflow는 airbnb에서 만든 workflow 관리 플랫폼입니다. Airflow를 사용하면 파이프라인이나 워크플로 태스크를 방향성 비순환 그래프(DAG)로 정의할 수 있습니다. 그래프에서 태스크는 노드로 정의하고 의존성은 태스크 노드 사이에 화살표로 표현합니다. Airflow는 파이썬 스크립트로 DAG의 구조를 설명하고 구성합니다. Airflow 파이프라인은 DAG 파일에 파이썬 코드로 DAG를 정의합니다. Airflow 구성 요소 Airflow 구성 요소 이미지 Airflow 스케쥴러: DAG를 분석하고 현재 시점에서 DAG의 스케쥴이 지난 경우 Airflow 워커에 DAG의 태스크를 예약합니다. Airflow 워커: 예약된 태스크를 선택하고 실행합니다. Airflow 웹서버: 스케쥴러에서 분석한 DAG를 시각화하고 DAG 실행과 결과를 확인할 수 있는 주요 인터페이스를 제공합니다. Airflow 스케쥴러 사용자가 DAG 워크플로를 작성하면, 스케줄러는 ...

원문링크 : Airflow 소개