[KAFKA] Message Compression, Linger.ms, batch.size

메시지 압축 프로듀서가 카프카에 데이터를 전송할 때 텍스트로 된 데이터 전송 Ex : Json 형식 압축을 하게 되면 메시지의 크기가 줄어들어서 카프카로의 전송 속도가 빨라지고 디스크 내 저장 공간을 적게 차지한다. 압축은 다양한 곳에서 할 수 있다. 프로듀서 압축, 브로커에서도 압축할 수 있다. 압축 과정에서 반복되는 값을 한 번에 압축하기에 메시지 배치의 크기가 클수록 압축률이 올라가서 효율 증가 압축 종류로는 none, gzip, lz4, snappy, zstd가 있다. 압축을 활성화하면 메시지 배치가 압축된 메시지의 배치로 압축된다. 크기가 줄어들기에 전송 속도 증가 요청 크기가 1/4 정도로 줄일 수 있기에 디스크 효율 증가 지연 시간이 줄어들고 처리량이 늘어나게 된다. 압축 단점 요즘은 거의 무의미 Producer가 CPU 사이클을 사용해서 계산과 압축을 수행 Consumer도 CPU 사이클을 사용해서 메시지 배치의 압축을 해제하고 읽어야 함 snappy와 lz4를 먼저 ...

원문링크 : [KAFKA] Message Compression, Linger.ms, batch.size