Airflow Architecture Overview

Airflow는 워크플로를 구축하고 실행할 수 있는 플랫폼입니다. 워크플로는 DAG(Directed Acyclic Graph)로 표시되며, 종속성과 데이터 흐름을 고려하여 정렬된 작업을 표시합니다. DAG는 Tasks 간의 종속성을 지정하고, 그것들을 실행하고 재시도를 실행하는 순서 지정합니다. Tasks은 데이터 가져오기, 분석 실행, 다른 시스템 트리거 등 수행할 작업을 설명합니다. Airflow는 다음 구성 요소로 구성됩니다. 스케줄러: 예약된 워크플로를 트리거하고 실행할 실행기에 작업을 제출 익스큐터: 실행 중인 작업을 처리. 기본 Airflow 설치에서 이것은 스케줄러 내부의 모든 것을 실행하지만 대부분의 프로덕션에 적합한 실행기는 실제로 작업 실행을 작업자에게 푸시함 웹서버: DAG 및 작업의 동작을 검사, 트리거 및 디버그할 수 있는 편리한 사용자 인터페이스를 제공함 DAG 파일의 폴더: 스케줄러와 실행자(그리고 실행자가 가지고 있는 모든 작업자)가 읽음 메타데이터 데이...

원문링크 : Airflow Architecture Overview