[ElasticStack] logstash

logstash 플러그인 기반의 오픈 소스 데이터 처리 파이프라인 도구 로그스태시를 통해서 데이터를 가공/변환해서 엘라스틱 서치에 저장 특징 플러그인 기반 모든 형태 데이터 처리 JSON, XML event data RDBMS 데이터를 마이그레이션 elasticsearch document 리인덱싱 성능 자체 내장되어 있는 메모리와 파일 기반의 큐를 사용하기에 처리 속도와 안정성이 높다. 인덱싱할 document의 수와 용량을 종합적으로 고려해 벌크 인덱싱을 수행하고 파이프라인 배치 크기 조정을 통해 병목현상을 방지하고 성능 최적화 안정성 재시도 로직이나 오류가 발생한 document를 따로 보관하는 dead-letter-queue 내장하고 있음 파이프라인 데이터를 입력받아 실시간으로 변경하고 이를 다른 시스템에 전달하는 역할을 하는 로그스태시의 핵심 기능 입력, 필터, 출력 세 가지 구성요소로 이뤄짐 입력과 출력은 필수 필터는 옵션 { "@version" => "1", "host" ...

원문링크 : [ElasticStack] logstash