Airflow CeleryExecutor 개념 및 Architecture 설명

CeleryExecutor는 worker 수를 확장할 수 있는 방법 중 하나입니다. CeleryExecutor가 작동하려면 Celery backend(RabbitMQ, Redis 등)를 설치하고, airflow.cfg를 변경하여 executor를 CeleryExecutor로 설정해야 합니다. 자세한 Celery broker 설정 방법 https://docs.celeryq.dev/en/latest/getting-started/ 요구 사항 Airflow 설치 클러스터 전체에 airflow 구성 동일하게 설정 operator는 해당 context를 충족해야 함 HiveOperator를 사용하는 경우 해당 상자에 Hive CLI를 설치 MySqlOperator를 사용하는 경우 필요한 Python 라이브러리를 PYTHONPATH에서 사용할 수 있어야 함 worker는 DAGS_FOLDER에 대한 액세스 권한이 있어야 하고 파일 시스템을 동기화 일반적인 설정은 DAGS_FOLDER를 Git 리...

원문링크 : Airflow CeleryExecutor 개념 및 Architecture 설명