Airflow KubernetesExecutor 개념 및 Architecture 설명

Kubernetes executor는 Kubernetes 클러스터의 자체 pod에서 각 작업 인스턴스를 실행합니다. KubernetesExecutor는 Airflow Scheduler에서 프로세스로 실행됩니다. 스케줄러 자체는 반드시 Kubernetes에서 실행될 필요는 없지만 Kubernetes 클러스터에 대한 액세스는 필요합니다. KubernetesExecutor는 백엔드에 non-sqlite 데이터베이스가 필요합니다. DAG가 작업을 제출하면 KubernetesExecutor는 Kubernetes API에서 작업자 포드를 요청합니다. 그런 다음 작업자 포드는 작업을 실행하고 결과를 보고하고 종료합니다. https://airflow.apache.org/docs/apache-airflow/stable/_images/arch-diag-kubernetes.png Kubernetes 클러스터의 분산된 5개 노드 집합에서 실행되는 Airflow 배포의 한 예가 아래에 나와 있습니다. ht...

원문링크 : Airflow KubernetesExecutor 개념 및 Architecture 설명