Consumer

💡 이번 포스팅에서는 Consumer -1, Consumer - 2에 이어서 Consumer에 대해 정리해 보도록 하겠습니다.

auto.offset.reset

컨슈머가 토픽에 처음 접속하여 메시지를 가져올 때 가장 오래된 처음 오프셋(earliest)부터 가져올 것인지 가장 최근인 마지막 오프셋(latest) 이후부터 가져올 것인지를 설정하는 파라미터이며, earliest와 latest가 있습니다.

하지만 주의할 점은 컨슈머가 토픽에 처음 접속할 때 __consumer_offsets에 있는 오프셋 정보를 기반으로 메시지를 가져오기 때문에 earliest로 설정한다 해도 무조건 0번 오프셋부터 읽어 들이지는 않습니다.

그리고 컨슈머 그룹의 컨슈머가 모두 종료되어도 컨슈머 그룹이 읽어 들인 오프셋 정보는 7일 동안 __consumer_offsets에 저장되어 있습니다. (offsets.retention.minutes 참고)

해당 토픽이 삭제되고 재 생성될 경우에는 해당 토픽에 대한 컨슈머 그룹의 오프셋 정보는 0으로 __consumer_offsets에 기록됩니다.

파티션 할당 전략

토픽의 파티션을 각각 컨슈머에 할당하는데 파티션 할당의 목표는 컨슈머의 부하를 파티션 별로 균등하게 할당하는 것과 데이터 처리 및 리밸런싱의 효율성 극대화입니다.

컨슈머의 파티션 할당 전략은 아래와 같이 크게 4가지 방법이 있습니다.

파티션 할당 전략	내용
Range 할당 전략 (기본 값)	서로 다른 2개 이상의 토픽을 컨슈머들이 구독할 시 토픽별로 동일한 파티션을 특정 컨슈머에게 할당하는 전략입니다. 여러 토픽들에서 동일한 키 값으로 되어 있는 파티션은 특정 컨슈머에 할당하여 해당 컨슈머가 여러 토픽의 동일 키값으로 데이터 처리를 용이하게 할 수 있도록 지원합니다.
Round Robin 할당 전략	파티션별로 컨슈머들이 균등하게 부하를 분배할 수 있도록 여러 토픽들의 파티션들을 컨슈머들에게 순차적인 Round Robin 방식으로 할당합니다.
Sticky 할당 전략	최초에 할당된 파티션과 컨슈머 매핑을 Rebalance가 수행되어도 가급적 그대로 유지할 수 있도록 지원하는 전략입니다. 하지만 Eager Protocol 기반이므로 Rebalance 시 모든 컨슈머의 파티션 매핑이 해제 된 후에 다시 매핑되는 형태입니다.
Cooperative(협력적) Sticky 할당 전략	최초에 할당된 파티션과 컨슈머 매핑을 Rebalance가 수행되어도 가급적 그대로 유지할 수 있도록 지원함과 동시에 Cooperative Protocol 기반으로 Rebalance 시 모든 컨슈머의 파티션 매핑이 해제 되지 않고 Rebalance에 연관된 파티션과 컨슈머만 재 매핑됩니다.

각 파티션 할당 전략에 따른 컨슈머 옵션은 다음과 같습니다.

파티션 할당 전략	옵션
Range 할당 전략 (기본 값)	partition.assignment.strategy=RangeAssignor
Round Robin 할당 전략	partition.assignment.strategy=RoundRobinAssignor
Sticky 할당 전략	partition.assignment.strategy=StickyAssignor
Cooperative Sticky 할당 전략	partition.assignment.strategy=CooperativeStickyAssignor