[KAFKA] Consumer Groups, Offset, Brokers, Discovery, replica, Zookeeper

Consumer Groups 한 토픽이 여러 개의 파티션으로 나눠져 있다. 동일한 응용프로그램의 일부이므로 동일한 "논리적 작업"을 수행하는 컨슈머는 Kafka 컨슈머 그룹으로 그룹화할 수 있습니다. 각각의 컨슈머들이 다른 파티션을 읽기에 컨슈머 그룹이 카프카 토픽 전체를 읽게 된다. 브로커 하나에만(어떤 브로커든) 연결하고, 읽어 오고 싶은 토픽 이름만 제공하면 됩니다. 카프카가 호출을 적당한 브로커와 파티션으로 라우팅해 줍니다! 파티션보다 컨슈머가 많을 때 파티션보다 컨슈머가 많을 때는 읽을 파티션이 없는 컨슈머는 비활성화된다. 정상이다. 하나의 토픽에 여러 개의 컨슈머 그룹 하나의 토픽에 여러 개의 컨슈머 그룹이 있는 건 괜찮다. 각각의 그룹에서 모든 토픽을 다 읽는다. 그룹 3 같은 경우는 한 개의 컨슈머가 세 개의 파티션에서 데이터를 읽는다. Consumer Offset Consumer Offset을 사용해서 카프카에서 데이터를 어디까지 읽었는지 파악할 수 있다. 즉 카프카...

원문링크 : [KAFKA] Consumer Groups, Offset, Brokers, Discovery, replica, Zookeeper