Producer - 2

💡 지난번 정리했던 Producer에서 추가 내용이 있어 정리한 포스팅입니다.

 

Producer에 대해 잘 모르시는 분들은 전에 정리했던 Producer 포스팅을 참고하시면 좋을 것 같습니다.

 

Producer

 

acks

acks는 producer가 broker에 메시지를 전송한 결과에 관한 설정인데, confluent kafka 공식 문서의 설명을 살펴보면 다음과 같습니다.

출처: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html#acks

프로듀서가 요청 완료를 고려하기 전에 리더 파티션이 수신해야 하는 승인의 수입니다. 이것은 전송된 레코드의 내구성을 제어합니다.

출처: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html#acks

 

acks=0 0으로 설정하면 프로듀서는 서버의 승인을 전혀 기다리지 않습니다.
레코드는 즉시 소켓 버퍼에 추가되고 전송된 것으로 간주됩니다.
이 경우 서버가 레코드를 수신했다고 보장할 수 없으며 재시도 구성이 적용되지 않습니다(클라이언트는 일반적으로 실패를 알지 못하므로).
각 레코드에 대해 반환되는 오프셋은 항상 -1로 설정됩니다.

acks=1 이는 리더 파티션이 레코드를 로컬 로그에 기록하지만 모든 팔로워 파티션의 전체 승인을 기다리지 않고 응답한다는 의미입니다. 이 경우 리더 파티션이 레코드를 승인한 직후 실패하지만 팔로워 파티션이 복제하기 전에 레코드가 손실됩니다.

acks=all 이는 리더 파티션이 동기화된 복제본의 전체 세트가 레코드를 승인할 때까지 대기함을 의미합니다. 이렇게 하면 하나 이상의 동기화 복제본이 살아있는 한 레코드가 손실되지 않습니다. 이것은 가장 강력한 보증입니다. 이는 acks=-1 설정과 동일합니다.

acks는 위와 같이 0, 1, -1(all) 총 3가지의 옵션을 사용할 수 있는데,

acks=0의 경우 메시지를 전송한 후 정상적으로 전송이 되었는지 에러가 발생했는지 여부는 확인하지 않고 이후 처리를 진행하는 방식입니다. 따라서 반환되는 RecordMetadata에는 offset이 항상 -1로 반환됩니다.

 

 

acks=1의 경우 메시지가 저장되었는지 확인을 하지만, 리더 파티션까지만 확인합니다. 이후 팔로워 파티션이 있더라도 리터 파티션에만 메시지가 저장되었는지 확인한 후 이후 처리를 진행하는 방식입니다.

 

출처: https://sungjk.github.io/2021/01/23/kafka-producer.html

 

acks=all은 리더 파티션뿐만 아니라 팔로워 파티션에도 메시지가 저장되었는지 확인하는 방식으로 가장 안전한 방법입니다. 하지만 팔로워 파티션까지 메시지가 저장되기를 기다려야 하기 때문에 성능면에서는 다른 옵션에 비해 떨어집니다.

출처: https://sungjk.github.io/2021/01/23/kafka-producer.html

 

출처: https://sungjk.github.io/2021/01/23/kafka-producer.html

acks=all의 경우 조금 더 고려해야 할 부분이 min.insync.replicas 옵션인데 이 옵션은 메시지를 보낼 때 메시지를 저장해야 할 최소한의 Replication 수를 의미합니다. 위의 경우 min.insync.replicas 옵션이 1로 설정이 되어 있다고 가정할 때 팔로워 파티션들이 전부 에러가 발생하더라도 리더 파티션에만 메시지를 저장해도 정상적으로 메시지가 저장되었다고 판단합니다.

출처: https://sungjk.github.io/2021/01/23/kafka-producer.html

하지만 min.insync.replicas 옵션이 2로 설정이 되어 있다고 가정할 때 팔로워 파티션들이 위와 같이 전부 에러가 발생하게 되면 리더 파티션에 메시지가 정상적으로 저장되더라도 아직 1개의 파티션에 메시지가 저장이 되지 않았기 때문에 카프카는 에러로 판단하고 다음 메시지를 보낼 수 없게 됩니다.

 

참고 자료

• <인프런 카프카 완벽 가이드 - 코어편> - 권철민