메시지 로그 세그먼트, 로그 세그먼트

💡 이번 포스팅에서는 메시지 로그 세그먼트에 대해 정리해 보도록 하겠습니다.

 

카프카의 토픽으로 전송되는 메시지는 각 파티션에 세그먼트, 또는 로그 세그먼트라는 파일에 저장됩니다.

 

로그 세그먼트에는 메시지의 내용과 메시지의 키, 값, 오프셋, 메시지 크기 같은 정보가 함께 저장되며, 브로커의 로컬 디스크에 저장됩니다.

 

하나의 로그 세그먼트 크기가 너무 커지면 파일을 관리하기 어려워지기 때문에 기본적으로는 최대 1GB 크기로 설정되어 있습니다.

만약 설정된 크기보다 커지는 경우에 기본적으로 롤링(Rolling) 전략을 사용합니다.

따라서 파티션은 하나 이상의 세그먼트로 구성되며, 각 세그먼트는 일정 시간이 지나거나 용량이 초과될 경우 기존의 세그먼트는 close 하고 새로운 세그먼트를 생성하여 데이터를 저장합니다.

 

 

로그 세그먼트에 영향을 주는 설정은 log.segment.bytes와 log.roll.hours(ms) 입니다.

log.segment.bytes
ㆍ개별 세그먼트의 최대 크기이며 기본값은 1GB입니다.
ㆍ지정된 크기를 넘기면 해당 세그먼트는 더 이상 active 상태가 아니며 close 됩니다. (오직 읽기만 가능)
ㆍ토픽의 설정은 segment.bytes이며 기본값은 log.segment.bytes의 설정을 따릅니다.

log.roll.hours(ms)
ㆍ개별 세그먼트가 유지되는 최대 시간이며 기본값은 7일입니다.
ㆍ지정된 시간을 넘기면 해당 세그먼트는 더 이상 active 상태가 아니며 close 됩니다. (오직 읽기만 가능)
ㆍlog.segment.bytes에 지정된 크기만큼 차지 않아도 log.roll.hours(ms) 만큼의 시간이 지나면 해당 세그먼트를 close 합니다.
ㆍ토픽 설정은 segment.ms이며 기본값은 log.roll.hours 설정을 따릅니다.

💡 log.segment.bytes, log.roll.hours 설정을 사용하게 되면 각 브로커마다 설정을 적용해야 하기 때문에 만약 전역으로 설정을 적용하고 싶은 경우에는 토픽 설정으로 적용해야 합니다.

segment.bytes, segment.ms

 

위와 같이 일정 시간, 용량 초과 시 새로운 세그먼트가 생성되는데 이때 파일명은 오프셋번호를 의미합니다.

즉 00000000000000000000.log 는 0~41번 오프셋의 메시지가 들어있고, 00000000000000000042.log는 42~83번 오프셋의 메시지가 들어있으며 00000000000000000084.log는 84번 오프셋 메시지부터 계속 저장 중인 상태임을 알 수 있습니다.

 

 

 

로그 세그먼트 확인하기

로그 세그먼트 안의 내용을 확인하기 위해서는 kafka-dump-log 명령어를 사용해야 하는데, 이에 관련해서는 정리해 둔 포스팅이 있으니 참고하시면 좋을 것 같습니다.

 

kafka CLI 사용하기 - kafka-dump-log

 

.index, .timeindex 파일

파티션 안에 생성되는 파일들을 보면 메시지에 대한 정보가 저장되어 있는 log 세그먼트 외에 index 세그먼트와 timeindex 세그먼트 파일이 있는 것을 확인할 수 있습니다.

 

index 세그먼트는 오프셋 별로 byte position 정보를 가지고 있습니다.

로그 세그먼트는 파일 기반이기 때문에 특정 오프셋의 데이터를 파일에서 읽기 위해서는 해당 오프셋이 File Pointer에서 얼마만큼의 byte에 위치해 있는지 알아야 합니다.

이때 index 세그먼트를 사용하여 오프셋 정보를 확인합니다.

 

timeindex 세그먼트는 메시지의 타임스탬프 정보를 가지고 있습니다.

 

 

세그먼트 파일 생명 주기

세그먼트 파일은 active → closed → deleted | compacted 단계로 관리가 됩니다.

세그먼트 파일은 log cleanup 정책에 따라 지정된 특정 시간이나 파일 크기에 따라 삭제되거나 compact 형태로 저장됩니다.

 

따라서 log cleanup 정책을 설정해서 로그가 삭제되든지 compact(압축)되던지를 결정해야 하는데 기본값은 delete로 적용되어 있습니다.

log cleanup 정책에 의해 로그 세그먼트를 삭제하게 되면 로그 세그먼트는 다시 00000000000000000001로 시작하는 각각의 세그먼트 파일들을 새로 생성하게 됩니다.

 

log.cleanup.policy = delete
→ 세그먼트를 log.retention.hours, log.retention.bytes 설정 값에 따라 삭제합니다.

log.cleanup.policy = compact
→ 세그먼트를 key 값 레벨로 가장 최신의 메시지만 유지하도록 세그먼트를 재구성합니다.

log.cleanup.policy = [delete, compact]
→ 둘 다 적용됩니다.

 

log.cleanup.policy 설정 파라미터

config	설명
log.retention.hours(ms)	개별 세그먼트가 삭제되기전 유지하는 시간이며 기본값은 7일입니다. 토픽 구성은 retention.ms이며 기본값은 log.retention.hours의 설정값을 따릅니다.
log.retention.bytes	세그먼트 삭제 조건이 되는 파티션 단위의 전체 파일의 크기를 설정합니다. 기본값은 -1로 무한대입니다. 토픽 구성은 retention.bytes이며 기본값은 log.retention.bytes의 설정값을 따릅니다.
log.retention.check.interval.ms	브로커가 background로 세그먼트 삭제 대상을 찾기 위한 ms 단위의 주기입니다.

 

 

 

참고 자료

• <실전 카프카 개발부터 운영까지> - 고승범 지음
• <인프런 카프카 완벽 가이드 - 코어편> - 권철민