kafka CLI 사용하기 - kafka-dump-log

💡 이번 포스팅에서는 kafka-dump-log에 대해 알아보도록 하겠습니다.

 

kafka-dump-log 설명을 보면 로그 파일을 파싱 하여 그 내용을 콘솔에 덤프 하도록 도와주며, 손상된 로그 세그먼트를 디버깅하는데 도움이 된다고 합니다.

 

user@ubuntu:~/confluent/bin$ kafka-dump-log --help
This tool helps to parse a log file and dump its contents to the console, useful for debugging a seemingly corrupt log segment.
Option                               Description                                
------                               -----------                                
--cluster-metadata-decoder           if set, log data will be parsed as cluster 
                                       metadata records.                        
--deep-iteration                     if set, uses deep instead of shallow       
                                       iteration. Automatically set if print-   
                                       data-log is enabled.                     
--files <String: file1, file2, ...>  REQUIRED: The comma separated list of data 
                                       and index log files to be dumped.        
--help                               Print usage information.                   
--index-sanity-check                 if set, just checks the index sanity       
                                       without printing its content. This is    
                                       the same check that is executed on       
                                       broker startup to determine if an index  
                                       needs rebuilding or not.                 
--key-decoder-class [String]         if set, used to deserialize the keys. This 
                                       class should implement kafka.serializer. 
                                       Decoder trait. Custom jar should be      
                                       available in kafka/libs directory.       
                                       (default: kafka.serializer.StringDecoder)
--max-message-size <Integer: size>   Size of largest message. (default: 5242880)
--offsets-decoder                    if set, log data will be parsed as offset  
                                       data from the __consumer_offsets topic.  
--print-data-log                     if set, printing the messages content when 
                                       dumping data logs. Automatically set if  
                                       any decoder option is specified.         
--skip-record-metadata               whether to skip printing metadata for each 
                                       record.                                  
--transaction-log-decoder            if set, log data will be parsed as         
                                       transaction metadata from the            
                                       __transaction_state topic.               
--value-decoder-class [String]       if set, used to deserialize the messages.  
                                       This class should implement kafka.       
                                       serializer.Decoder trait. Custom jar     
                                       should be available in kafka/libs        
                                       directory. (default: kafka.serializer.   
                                       StringDecoder)                           
--verify-index-only                  if set, just verify the index log without  
                                       printing its content.                    
--version                            Display Kafka version.

 

기본적으로 kafka log는 kafka-logs 디렉터리 밑에 각 topic별로 {topic name}-{partition number} 디렉터리가 생성되는데 이 디렉터리 내부에 *.log 파일에 데이터가 저장됩니다.

 

이 파일을 단순 cat, vi 명령어로 확인해보면 압축이 진행되었기 때문에 이상한 문자들이 함께 출력이 됩니다.

kafka-dump-log 명령어를 사용하면 압축을 해제한 정상적인 데이터를 확인할 수 있습니다.

kafka-dump-log --files ./00000000000000000000.log

 

--files 명령에 어떤 파일의 데이터를 확인할 것인지 반드시 명시해야 합니다.

다른 옵션을 주지 않을 경우 데이터는 출력되지 않으며 offset이나 관련 메타 정보만 출력됩니다.

 

이 경우 --print-data-log 옵션을 사용하면 데이터도 함께 출력합니다.

 

--print-data-log 옵션을 사용하면 --deep-iteration 옵션이 같이 활성화된다고 하는데, -deep-iteration을 사용하면 record의 메타 데이터를 출력합니다.

따라서 --deep-iteration 옵션만 사용하게 될 경우 --print-data-log와 달리 key와 payload 항목은 출력되지 않는 것을 확인할 수 있습니다.

 

 

만약 반대로 key, payload만 출력하고 record의 메타 데이터는 출력하고 싶지 않은 경우에는 --print-data-log 옵션과 --skip-record-metadata 옵션을 같이 사용하면 됩니다.

 

 

kafka-dump-log 명령어와 위의 옵션들을 활용해서 특정 topic에 데이터가 정상적으로 들어갔는지 어떻게 데이터가 저장되어 있는지 등을 확인할 수 있습니다.

 

참고 자료

• <실전 카프카 개발부터 운영까지> - 고승범 지음
• <인프런 카프카 완벽 가이드 - 코어편> - 권철민