[데이터 엔지니어링] 01-2. 데이터 엔지니어링 개요

04. 데이터 파이프라인 데이터 파이프라인이란 데이터를 한 장소에서 다른 장소로 옮기는 것을 의미 API → Database Database → Database Database → BI Tool 데이터 파이프라인이 필요한 경우 다양한 데이터 소스들로부터 많은 데이터를 생성하고 저장하는 서비스 데이터 사일로: 마케팅, 브랜딩, 어카운팅, 세일즈, 오퍼레이션 등 각 영역의 데이터가 서로 고립되어 있는 경우 (통합 필요) 실시간 혹은 높은 수준의 데이터 분석이 필요한 비지니스 모델클라우드 환경으로 데이터 저장 데이터 아키텍쳐시 고려사항 API (데이터 추출) → AWS Lamda (DATA Processing) → Amazon S3(저장소) → 분석 → BI (Visualization) 데이터 파이프라인 구축..

원문링크 : [데이터 엔지니어링] 01-2. 데이터 엔지니어링 개요