Partitioner & Partition

💡 이번 포스팅에서는 Partitioner & Partition에 대해 알아보도록 하겠습니다.

 

Topic을 생성할 때 파티션을 지정하지 않을 경우 기본적으로 해당 토픽에 대한 1개의 파티션이 생성이 됩니다.

따라서 토픽은 1개 이상의 파티션으로 구성이 된다고 말할 수 있으며, 파티션의 그룹이라고 말할 수도 있습니다.

 

출처: https://jyeonth.tistory.com/30

 

위와 같이 하나의 토픽에 대해 파티션이 여러 개 구성되어 있을 경우, 각 파티션은 0번부터 시작해서 순차적으로 이름이 지정됩니다.

그리고 이 파티션에 producer가 보낼 메시지가 저장됩니다.

 

앞서 Producer 정리 포스팅에서 Producer가 kafka로 메시지를 보낼 때 특정 토픽으로 메시지를 보낸다고 했었습니다.

하지만 조금 더 정확하게 말하자면 특정 토픽으로 메시지를 보내는 것이 아니라 특정 토픽의 특정 파티션으로 메시지를 보내는 것입니다.

 

그런데 위와 같이 파티션이 여러 개 있을 경우 프로듀서가 어느 파티션으로 메시지를 보내야 할지 기준을 정해야 하는데, 카프카에서는 라운드 로빈 방식, 스티키 파티셔닝 총 2가지 방법을 제공하고 있습니다.

 

먼저 메시지를 보낼 때 key가 있을 경우 해당 key의 hash값을 통해 파티션을 할당하게 됩니다.

하지만 key를 지정하지 않을 경우 즉, key가 null일 경우에는 아래와 같이 kafka 버전에 따라 기본 파티셔닝 방법이 다릅니다.

ㆍkafka 2.4 버전 이전 : Round Robin (라운드 로빈)
ㆍkafka 2.4 버전 이후 : Sticky Partitioning (스티키 파티셔닝)

 

 

 

출처: https://www.confluent.io/blog/apache-kafka-producer-improvements-sticky-partitioner

위 그림의 왼쪽이 라운드 로빈 방식이고 오른쪽은 스티키 파티셔닝 방법입니다.

 

라운드 로빈은 말 그대로 순차적으로 돌아가며 메시지를 전송하는 방식입니다.

반면, 스티키 파티셔닝은 처음 메시지를 보내는 파티션에 계속 메시지를 누적하여 먼저 batch를 채우는 전략입니다.

 

이를 이해하기 위해서는 먼저 kafka의 배치 전송이라는 개념을 이해해야 합니다.

이 부분에 대해서는 Producer 포스팅에서 정리해두었으니 참고하시면 좋을 것 같습니다.

 

kafka는 토픽에 메시지를 저장했다고 해서 즉시 kafka 서버로 보내지 않습니다.

파티션에 메시지가 저장될 때 batch 또는 accumulator라는 영역에 저장이 되는데 이 영역이 가득 차거나 또는 일정 시간 동안 기다린 후에 그때까지 저장되어 있는 메시지를 한꺼번에 전송하게 됩니다.

 

그렇기 때문에 위와 같이 라운드 로빈 방식으로 파티셔닝을 하게 되면 메시지는 총 6개가 저장되었지만 아직 어느 곳도 batch, accumulator 영역이 가득 차지 않았기 때문에 kafka 서버로 메시지가 전송되지 않을 것입니다.

스티키 파티셔닝은 이런 문제를 해결하기 위해 처음 저장되는 파티션의 batch를 먼저 채워 메시지가 kafka 서버로 전송될 수 있도록 합니다.

 

이를 코드로 확인해보겠습니다.

 

메시지를 특정 파티션에 저장하도록 하려면 해당 객체는 Partitioner 인터페이스를 구현한 구현체여야 합니다.

Kafka에서는 라운드 로빈 방식, 스티키 파티셔닝 그리고 기본 파티셔너를 제공하고 있습니다.

ㆍRoundRobinPartitioner: 라운드 로빈 방식
ㆍUniformStickyPartitioner: 스티키 파티셔닝 방식
ㆍDefaultPartitioner: 기본 파티셔너

 

그리고 기본 파티셔너인 DefaultPartitioner의 partition() 메서드를 확인해 보면 key가 null일 경우 스티키 파티셔닝 방식을 적용하도록 되어 있습니다.

 

 

라운드 로빈 방식이든, 스티키 파티셔닝 방식이든 결국 해당 파티션의 batch가 가득 차게 되면 다음 파티션을 지정해야 하는데 이 부분이 어떻게 구현되어 있는지 확인해 보겠습니다.

 

KafkaProducer에서 메시지를 보내는 doSend() 메서드를 확인해 보면 아래와 같은 로직을 확인할 수 있습니다.

 

 

처음 메시지를 저장할 때는 accumulator의 append() 메서드에 abortOnNewBatch를 true로 전달하고 있습니다.

abortOnNewBatch가 true로 전달될 경우 RecordAppendResult 객체를 새로 생성하여 반환하는데 이때 abortForNewBatch 값을 true로 설정하고 있습니다.

이 값이 true로 설정되면 partitioner.onNewBatch() 메서드를 통해 메시지를 저장할 다음 파티션을 가져오도록 하고 있습니다.

 

처음 메시지를 저장할 때는 당연히 파티션을 지정해야 하기 때문에 abortOnNewBatch 값을 true로 설정하여 파티션을 가져오도록 했으며, 이후 에는 abortOnNewBatch 값을 false로 지정하여 가져온 파티션에 계속해서 메시지를 저장하도록 하고 있습니다.

 

 

Custom Partitioner

partitioner를 직접 만들기 위해서는 위에서 설명한 Partitoner 인터페이스를 구현한 구현체를 만들면 됩니다.

그리고 Producer property 설정에 아래와 같이 작성한 Partitioner의 class path를 입력해 주면 됩니다.

 

 

 

참고 자료

• <실전 카프카 개발부터 운영까지> - 고승범 지음
• <인프런 카프카 완벽 가이드 - 코어편> - 권철민