멀티 노드 카프카 - 1

💡 이번 포스팅에서는 멀티 노드 카프카 구성 방법에 대해 정리해 보도록 하겠습니다.

 

단일 노드 카프카는 멀티 노드 카프카에 비해 설정이 간편하기 때문에 사용 측면에서는 좋지만, 성능과 가용성 또는 장애 복구와 같은 부분은 고려할 때는 장점 외에는 모든 것이 단점입니다.

 

필수는 아니지만 많은 글들에서 멀티 노드 카프카 설정에서 추천하는 방식은 브로커 3개, 각 토픽별 파티션 3개로 구성하는 것을 추천하고 있습니다.

 

출처: https://skysoo1111.tistory.com/75

 

위와 같이 멀티 노드 카프카로 구성하게 되면 각 토픽별 파티션이 각 브로커별로 분배되어 있는 것을 확인할 수 있습니다.

이렇게 구성했을 때의 장점은 브로커 1이 장애가 발생하더라도 나머지 브로커 2, 브로커 3에서 이미 복제된 파티션이 있기 때문에 리밸런싱을 통해 문제없이 브로커 2, 브로커 3이 요청을 처리할 수 있습니다.

 

 

멀티 노드 카프카 구성하기

총 3개의 브로커로 멀티 노드 카프카를 구성해 보겠습니다.

각 브로커별로 설정 파일을 작성하여 서로 충돌이 나지 않도록 하고 로그를 각 브로커별 디렉토리로 관리할 수 있도록 해보겠습니다.

 

server.properties

 

위 설정 파일은 카프카 설치 시 기본적으로 생성되는 server.properties 파일입니다.

broker.id, listeners, log.dirs 총 3개의 옵션을 각 브로커별로 설정해 주면 됩니다.

 

 

broker 1

 

broker 2

 

 

broker 3

 

 

log 폴더 생성

 

 

쉘 파일 생성

 

broker 1

 

broker 2

 

broker 3

 

카프카에 대한 설정은 끝났고, 이제 주키퍼 설정을 해보겠습니다.

 

 

주키퍼 설정

 

주키퍼 data 폴더 생성

 

쉘 파일 생성

 

이제 주키퍼, 그리고 브로커들을 실행하여 정상적으로 동작하는지 확인해 보겠습니다.

 

 

주키퍼 실행

스냅샷 생성 확인

 

브로커 1, 2, 3 실행

kafka_start_01.sh

 

kafka_start_02.sh

 

kafka_start_03.sh

 

 

참고 자료

• <실전 카프카 개발부터 운영까지> - 고승범 지음
• <인프런 카프카 완벽 가이드 - 코어편> - 권철민