Airflow Scheduler & Executor

Scheduler에서는 여러 가지 역할을 수행합니다. DAG파일을 구문 분석하고 추출된 정보를 DB에 저장 실행할 준비가 된 태스크를 결정하고 이를 대기 상태로 전환 대기 상태에서 태스크 가져오기 및 실행 스케줄러, 일반 태스크 및 백필 태스크는 Airflow의 Job클래스에서 실행됩니다. CLI로 백필(backfilling)된 태스크는 BackfillJob에서 실행됩니다. DAG의 오퍼레이터는 LocalTaskJob에서 실행합니다. SchedulerJob: DAG 파일을 파싱하고 추출된 정보를 DB에 저장하는 역할을 합니다. DAG프로세서 Airflow스케줄러는 DAG디렉터리의 파이썬 파일을 주기적으로 처리합니다. 새롭게 추가된 DAG가 있으면 Airflow 메타스토어에 등록하는 역할을 수행합니다. 구성항목 설명 AIRFLOW__CORE__DAGS_FOLDER DAG 디렉터리 위치 설정를 설정합니다. DAG 처리 각격 시간 설정 DAG 파일이 변경되지 않는 경우에도 주기적으로 각 ...

원문링크 : Airflow Scheduler & Executor