【데이터.분석/클라우드】 클라우드의 데이터 지배자 '아파치 아이스버그'

클라우드의 등장으로 데이터 팀이 방대한 양의 데이터를 수집해 적절한 비용으로 저장할 수 있게 되면서 데이터 레이크, 데이터 메시 및 기타 현대적 아키텍처를 활용하는 새로운 분석 사용 사례를 향한 문이 열렸다. 그러나 데이터의 크기가 매우 큰 경우 일반적인 데이 터 스토리지 역시 데이터의 액세스와 관리, 사용 방법 측면에서 어려움과 한계가 있다. Getty Images Bank 클라우드의 일반적인 블롭 스토리지 시스템에는 파일 간의 관계나 테이블 대응을 보여주는 데 필요한 정보가 없어 쿼리 엔진의 작업이 훨씬 더 어렵다. 또한 파일 자체로 인해 테이블의 스키마를 변경하거나 테이블을 건너 “시간 이동(time travel)”을 하기도 쉽지 않다. 각 쿼리 엔진은 파일을 쿼리하는 방법에 관한 자체적인 시야가 있어야 한다. 얼핏 구현하기 쉬워 보였던 데이터 아키텍처가 어느 순간 예 상보다 어려워지는 지점이다. 이런 경우에 테이블 형식을 데이터에 적용하는 방법이 매우 유용하다. 테이블 형식...

원문링크 : 【데이터.분석/클라우드】 클라우드의 데이터 지배자 '아파치 아이스버그'