멀티 노드 카프카 - 2

💡 이번 포스팅에서는 멀티 노드 카프카 구성 시 토픽 생성에 대해 정리해 보도록 하겠습니다.

 

멀티 노드 카프카 - 1

 

이전 포스팅에서 구성한 멀티 노드 카프카에서 토픽을 만들어 파티션들이 어떻게 생성되는지 확인해 보겠습니다.

브로커는 총 3개를 만들었으며 각각 9092, 9093, 9094 포트로 설정했습니다.

 

9092 브로커 1에 토픽을 생성해 보겠습니다.

 

broker 1

broker 2

broker 3

 

각 브로커별로 생성한 토픽에 대한 파티션들이 분배된 것을 확인할 수 있습니다.

하지만 log를 확인해 보면 브로커별로 분배된 파티션에 대한 정보만 있고, 나머지 파티션들에 대한 정보가 없습니다.

즉, 복제가 제대로 되지 않았다는 뜻입니다.

출처: https://damdam-kim.tistory.com/17

방금 토픽을 생성할 때는 파티션 개수에 대한 옵션만 전달했고 복제에 대한 옵션은 설정하지 않았기 때문에 이와 같은 결과가 나오는 것은 정상적입니다.

이전 포스팅에서 언급했던 파티션에 대한 정보를 다른 브로커에도 복제하기 위해서는 아래와 같이 replication-factor 옵션을 설정해야 합니다.

 

broker 1

broker 2

broker 3

 

아까와는 달리 이번엔 각 브로커별로 파티션 3개가 모두 생성된 것을 확인할 수 있습니다.

실제로 log를 확인해 봐도 각 브로커별로 파티션 3개가 모두 생성되어 있습니다.

 

출처: https://damdam-kim.tistory.com/17

 

하지만 이렇게만 확인하면 복제가 된 것은 확인할 수 있지만 어느 파티션이 어느 브로커의 리더 파티션인지 정확하게 확인할 수 없습니다.

이때 이전 포스팅에서 정리했던 describe 옵션을 사용하여 보다 상세하게 정보를 확인할 수 있습니다.

 

 

describe를 통해 확인해 보면 맨 처음 생성했던 토픽의 파티션들이 왜 복제되지 않았는지 확인할 수 있습니다.

describe의 leader는 브로커를 의미하며 m-brk-topic-aa의 0번 파티션의 리더는 1번 브로커라는 뜻입니다.

그리고 replicas는 어느 브로커들에게 복제되었는지를 나타내며, ISR은 해당 파티션에 대해 어떤 브로커들끼리 ISR로 묶여있는지 확인할 수 있습니다.

 

이렇게 보면 모두 순서만 다를 뿐 전부 복제되어 있고 ISR로 묶여있기 때문에 이번엔 replication-factor를 2개만 주어서 3개의 브로커에 각 파티션들을 2개까지만 복제하도록 해보겠습니다.

 

broker 1

 

broker 2

 

broker 3

 

broker 1은 파티션 1, 0

broker 2는 파티션 2, 1

broker 3은 파티션 0, 2로 각각 생성된 것을 확인할 수 있습니다.

아까와 동일하게 log와 describe를 통해 다시 확인해 보겠습니다.

 

 

참고 자료

• <실전 카프카 개발부터 운영까지> - 고승범 지음
• <인프런 카프카 완벽 가이드 - 코어편> - 권철민