로그분석을 위한 엘라스틱서치 구성 ( = 인덱스 템플릿 )

매일/매시간 마다 생성되는 로그파일들을 분석하는 시스템을 구성한다고 가정해봅시다. 일반적으로 로그는 최근 일주일 정도만 필요하지 그 이상은 별로 필요하지 않습니다. 하나의 인덱스에 몇달전부터의 로그부터 현재 로그들까지 모두 들어간다면 시간이 지날수록 인덱스내의 데이터가 너무 많아질겁니다. 물론 분산처리가 가능한 #엘라스틱서치 이므로 노드 수를 충분히 크게 한상태로 구성하면 되겠으나, 몇달 지나서 의미없는 로그 데이터들이 굳이 용량을 차지할 필요는 없을겁니다. 그래서 매일 하나씩 인덱스가 생성되도록 구성하고, #키바나 에서는 그 인덱스들을 #인덱스패턴 으로 묶어서 하나로 처리할 수 있습니다. 오래된 인덱스는 DELETE /xxxx 처럼 HTTP 요청을 하면 지워지니 용량이 커질 염려도 없어집니다. 이전까지는 수동으로 index 하나 생성하면서 매핑 정보도 넣었습니다. 그러나, 이젠 매일 인덱스가 생성되어야 하므로, 뭔가 다른 방법이 필요하며 그것이 바로 #인덱스 #템플릿 ( #inde...

원문링크 : 로그분석을 위한 엘라스틱서치 구성 ( = 인덱스 템플릿 )