[KAFKA] 멱등 프로듀서(Idempotent Producer)

상황 프로듀서가 아파치 카프카에 데이터를 전송할 때 네트워크 오류로 인해서 중복된 메시지가 전송될 수 있다. 정상 요청 카프카에 데이터를 생성하면 카프카가 로그에 데이터 커밋 그 후 프로듀서에게 수신 확인 전달 중복 요청 카프카에 데이터를 생성하면 카프카가 로그에 데이터 커밋 수신 확인 반환할 때 ACK을 프로듀서에게 전달하지 못한다. ACK을 받지 못한 프로듀서는 재시도를 하게 된다. 똑같은 메시지를 보내면 카프카는 새로운 요청으로 여겨서 로그에 중복 커밋 그 후 ACK을 보내게 된다. 프로듀서 입장에서는 두 개의 요청 중 하나만 성공했고 카프카가 수신 확인을 반환했지만 카프카는 실제로 메시지 두 개를 커밋 한 것이다. 멱등 프로듀서 위와 같은 문제를 해결하기 위해서 멱등 프로듀서를 사용한다. 네트워크 오류에도 중복을 허용하지 않는다. https://www.conduktor.io/kafka/idempotent-kafka-producer/ 중복 요청인 경우 카프카 쪽에서 중복 생성인...

원문링크 : [KAFKA] 멱등 프로듀서(Idempotent Producer)