데이터 파이프라인 소개

데이터 파이프라인 소개 데이터 파이프라인은 DAG에 태스크와 그에 대한 의존성을 정의합니다. 이 그래프는 의존성을 가지고 구성된 태스크를 병렬 처리하여 효율적으로 실행합니다. 데이터 파이프라인 그래프 태스크간의 의존성을 명확하게 확인하는 방법 그래프에서 태스크는 노드로 표시 태스크 간의 의존성은 태스크 노드 간의 방향으로 표시 화살표 끝점의 방향은 태스크 간의 의존성을 나타냄. 태스크 A에서 태스크 B를 가리키는 화살표 끝점에 대한 의미는 태스크 A를 먼저 실행해야 태스크 B가 활성화됨을 뜻함 이러한 형태의 그래프는 방향성을 가지기 때문에, 방향성 그래프(directed graph) 이런 형태의 그래프는 일반적으로 방향성 비순화 그래프(Directed Acyclic Graph, DAG(대그))라고 부름 그래프는 화살표 방향성의 끝점(directed edge)을 포함하되 반복이나 순환을 허용하지 않음(비순화 acycle) 첫번째 태스크는 업스트림(이전 태스크에 대한) 의존성이 없고, ...

원문링크 : 데이터 파이프라인 소개