ISR(In Sync Replica)

💡 이번 포스팅에서는 ISR(In Sync Replica)에 대해 정리해 보도록 하겠습니다.

 

이전에 포스팅했던 Replication에서 리더와 팔로워 파티션들은 하나의 논리적 그룹으로 묶여있는데 이를 ISR(In Sync Replication)이라고 합니다.

 

출처: https://damdam-kim.tistory.com/17

ISR은 리더 파티션과 정상적으로 동기화가 이루어진 팔로워 파티션들로 구성되며, 만약 팔로워 파티션에 문제가 생겨 리더 파티션의 메시지를 가져오지 못하거나 뒤쳐질 경우 해당 팔로워 파티션은 ISR에서 제외됩니다.

 

📢 ISR을 주기적으로 확인하는 옵션은 다음 두가지 옵션이 있습니다.
zookeeper.session.timeout.ms
default: 6초
max: 18초

→ 브로커가 주키퍼에 연결되어 있어야 합니다. 위 옵션에 설정된 시간 내에 Heartbeat를 지속적으로 주키퍼에 보내야 합니다.

replica.lag.time.max.ms
default: 10초
max: 30초

→ 팔로워 파티션에 해당하는 옵션으로, 팔로워 파티션은 리더 파티션으로부터 위 옵션에 설정된 시간 내에 메시지를 지속적으로 가져와야 합니다.

 

그리고 ISR내의 팔로워 파티션들은 모두 리더 파티션이 될 수 있습니다.

 

출처: https://damdam-kim.tistory.com/17

 

만약 위와 같이 broker 4에 문제가 생겨 해당 파티션들이 ISR에서 제외된다면 이후 broker 4에 있는 파티션들은 리더 파티션이 될 수 없고, broker 4에 리더 파티션이 있었다고 한다면 ISR 내에서 새로운 리더 파티션을 선출하며, 더 이상 broker 4의 파티션들은 리더 파티션의 메시지를 가져올 수 없습니다.

 

이전 멀티 노드 카프카 포스팅에서 실습했던 토픽으로 확인해보겠습니다.

브로커 3개, 파티션 3개 그리고 Replication도 3개로 구성되어 있습니다.

현재까진 ISR이 각각의 파티션 3개 모두 설정되어 있는데 broker 3을 shutdown 한 후 다시 토픽을 조회하면 broker 3에 있었던 3번 파티션이 ISR에서 제외된 것을 확인할 수 있습니다.

그리고 다시 broker 3를 실행하면 다시 broker 3의 파티션이 ISR에 추가된 것을 확인할 수 있고, broker 1과 broker 2에 broker 3의 파티션이 추가되었다는 로그가 출력되는 것까지 확인할 수 있습니다.

 

broker 1

 

broker 2

 

min.insync.replicas

해당 옵션은 브로커의 설정값으로 프로듀서가 acks=all로 성공적으로 메시지를 보낼 수 있는 최소한의 ISR 브로커 개수를 의미합니다.

해당 내용은 이전 프로듀서 포스팅에도 정리해두었으니 참고하시면 좋을 것 같습니다.

 

 

위 이미지처럼 replication-factor가 3이기 때문에 리더, 팔로워 파티션은 총 3개 생성되었습니다. 여기서 acks=all과 min.insync.replicas=2로 설정하게 되면 메시지를 복제해야할 최소 브로커(파티션)의 개수가 2개여야 메시지 전송에 성공했다고 판단합니다.

따라서 broker 3이 장애가 발생해도 broker 1(리더), broker 2(팔로워)에 각각 메시지가 저장되었기 때문에 이 경우에는 정상적으로 메시지가 저장되었다고 판단합니다.

 

하지만 위와 같이 팔로워 파티션 2개가 모두 장애가 발생했을 경우 메시지를 저장하는 것이 리더 파티션 하나이기 때문에 카프카는 에러로 판단하고 다음 메시지를 보낼 수 없게 됩니다.

 

 

참고 자료

• <실전 카프카 개발부터 운영까지> - 고승범 지음
• <인프런 카프카 완벽 가이드 - 코어편> - 권철민