리더에포크 & 복구

💡 이번 포스팅에서는 리더에포크와 복구에 대해 정리해 보도록 하겠습니다.

 

리더에포크(LeaderEpoch)는 카프카의 파티션들이 복구 동작을 할 때 메시지의 일관성을 유지하기 위한 용도로 이용됩니다.

리더에포크는 컨트롤러에 의해 관리되는 32비트의 숫자로 표현됩니다.

해당 리더에포크 정보는 Replication 프로토콜에 의해 전파되고, 새로운 리더가 변경된 후 변경된 리더에 대한 정보는 팔로워에게 전달됩니다.

리더에포크는 복구 동작 시 하이워터마크를 대체하는 수단으로도 활용됩니다.

 

 

리더에포크 X

peter-test01 토픽의 리더 파티션과 팔로워 모두 message1 메시지 Replication에 성공했습니다.

그리고 하이워터마크를 1로 올린 후 리더 파티션이 message2를 저장한 후 팔로워 파티션이 message2에 대해 Replication 요청을 보냅니다.

리더 파티션은 팔로워 파티션이 message2에 대한 Replication 요청을 보냈기 때문에 자신의 하이워터마크를 2로 올립니다. 

여기서 리더 파티션이 응답을 하기 전에 팔로어 파티션이 다운된다고 가정해 보겠습니다.

 

장애에서 복구된 팔로워는 내부적으로 메시지 복구 동작을 하게 됩니다.

팔로워는 자신이 갖고 있는 메시지 중에서 자신의 워터마크보다 높은 메시지들은 신뢰할 수 없는 메시지로 판단하고 삭제합니다.

따라서 1번 오프셋의 message2는 삭제됩니다.

그리고 팔로워는 다시 리더 파티션에게 1번 오프셋의 메시지에 대한 가져오기(fetch) 요청을 보냅니다.

이 순간 리더였던 브로커가 장애로 다운되면서, 팔로워 파티션이 새로운 리더로 승격됩니다.

 

 

리더로 선출된 팔로워 파티션은 message2 메시지를 가지고 있지 않기 때문에 최종적으로 message2 메시지가 손실됩니다.

 

 

리더에포크 O

 

 

아까의 상황에서 팔로워가 복구된 상태 이후입니다.

리더에포크가 없는 상황에서는 자신의 하이워터마크보다 높은 메시지를 즉시 삭제했습니다.

하지만 리더에포크를 사용하는 경우에는 하이워터마크보다 앞에 있는 메시지를 무조건 삭제하는 것이 아니라 리더 파티션에게 리더에포크 요청을 보냅니다.

 

1. 팔로워는 복구 동작을 하면서 리더 파티션에게 리더에포크 요청을 보냅니다.
2. 요청을 받은 리더 파티션은 리더에포크의 응답으로 '1번 오프셋의 message2까지'라고 팔로워 파티션에게 보냅니다.
3. 팔로워는 자신의 하이워터마크보다 높은 1번 오프셋의 message2를 삭제하지 않고 리더의 응답을 확인한 후 message2까지 자신의 하이워터마크를 상향 조정합니다.

 

 

리더에포크를 활용하는 경우에는 삭제 동작을 하기에 앞서 리더에포크 요청과 응답 과정을 통해 팔로워의 하이워터마크를 올릴 수 있었고, 메시지 손실은 발생하지 않습니다.

 

 

 

리더에포크 X

리더만 오프셋 1까지 저장했고, 팔로워는 아직 1번 오프셋 메시지에 대해 Replication 동작을 완료하지 못한 상태에서 리더 파티션이 다운됐다고 가정해 보겠습니다.

 

이 경우 팔로워 파티션이 새로 리더 파티션으로 선출되고 새로운 리더가 프로듀서로부터 다음 메시지 message3을 전달받고 1번 오프셋에 저장한 후, 자신의 하이워터마크를 상향 조정합니다.

 

 

그리고 장애가 발생했던 (구) 리더 파티션의 복구 과정은 다음과 같습니다.

1. (구) 리더였던 브로커(파티션)가 장애에서 복구됩니다.
2. peter-test01 토픽의 0번 파티션에 이미 리더가 있으므로, 복구된 브로커는 팔로워가 됩니다.
3. 리더와 메시지 정합성 확인을 위해 자신이 갖고 있던 메시지를 삭제하지 않습니다.
4. 리더는 프로듀서로부터 message4 메시지를 받은 후 오프셋 2의 위치에 저장합니다.
5. 팔로워는 오프셋 2인 message4를 Replication 하기 위해 준비합니다. 

새로운 리더 파티션은 1번 오프셋 위치에 message3을 갖고 있고, 팔로워는 1번 오프셋 위치에 message2를 갖고 있습니다.

리더와 팔로워 둘 다 동일한 하이워터마크를 나타내고 있지만 서로의 메시지는 다릅니다. 하지만 리더에포크를 사용하지 않으면 하이워터마크만을 가지고 판단하기 때문에 서로의 메시지가 불일치하는 경우가 발생합니다.

 

 

 

리더 에포크 O

 

 

리더에포크를 사용할 경우 팔로워는 메시지 일관성을 위해 1번 오프셋인 message2를 삭제합니다.

(팔로워는 쓰기 권한이 없으므로, 리더에게 message2를 추가할 수 없습니다.)

 

 

 

리더 에포크 상태 확인

linux의 cat 명령어를 통해 리더에포크 상태를 확인할 수 있습니다.

 

cat /data/kafka-logs/[partiton name]/leader-epoch-checkpoint

0
1 : 현재의 리더에포크 번호
0 0  : 첫 번째 0은 리더에포크 번호, 두 번째 0은 최종 커밋 후 새로운 메시지를 전송받게 될 오프셋 번호

 

broker 3을 종료하고 다시 리더에포크를 조회해 보면 다음과 같이 변경되어 있습니다.

 

0
2 : 리더가 변경될 때마다 리더에포크 번호가 하나씩 증가합니다.
0 0
1 1

 

 

참고 자료

• <실전 카프카 개발부터 운영까지> - 고승범 지음
• <인프런 카프카 완벽 가이드 - 코어편> - 권철민