kafka CLI 사용하기 - kafka-console-consumer.(sh | bat)

kafka-console-producer가 표준 입력을 통해 Topic에 데이터를 publish하는 것이라면,

kafka-console-consumer는 표준 출력을 통해 Topic에서 데이터를 subscribe하는 것입니다.

 

This tool helps to read data from Kafka topics and outputs it to standard output.

→ 이 tool은 kafka Topic에서 데이터를 읽고 표준 출력(모니터)으로 출력할 수 있도록 도와준다.

This tool helps to read data from Kafka topics and outputs it to standard output.-->파일 설명
Option                                   Description
------                                   -----------
--bootstrap-server <String: server to    REQUIRED: The server(s) to connect to.
  connect to>
--consumer-property <String:             A mechanism to pass user-defined
  consumer_prop>                           properties in the form key=value to
                                           the consumer.
--consumer.config <String: config file>  Consumer config properties file. Note
                                           that [consumer-property] takes
                                           precedence over this config.
--enable-systest-events                  Log lifecycle events of the consumer
                                           in addition to logging consumed
                                           messages. (This is specific for
                                           system tests.)
--formatter <String: class>              The name of a class to use for
                                           formatting kafka messages for
                                           display. (default: kafka.tools.
                                           DefaultMessageFormatter)
--from-beginning                         If the consumer does not already have
                                           an established offset to consume
                                           from, start with the earliest
                                           message present in the log rather
                                           than the latest message.
--group <String: consumer group id>      The consumer group id of the consumer.
--help                                   Print usage information.
--include <String: Java regex (String)>  Regular expression specifying list of
                                           topics to include for consumption.
--isolation-level <String>               Set to read_committed in order to
                                           filter out transactional messages
                                           which are not committed. Set to
                                           read_uncommitted to read all
                                           messages. (default: read_uncommitted)
--key-deserializer <String:
  deserializer for key>
--max-messages <Integer: num_messages>   The maximum number of messages to
                                           consume before exiting. If not set,
                                           consumption is continual.
--offset <String: consume offset>        The offset to consume from (a non-
                                           negative number), or 'earliest'
                                           which means from beginning, or
                                           'latest' which means from end
                                           (default: latest)
--partition <Integer: partition>         The partition to consume from.
                                           Consumption starts from the end of
                                           the partition unless '--offset' is
                                           specified.
--property <String: prop>                The properties to initialize the
                                           message formatter. Default
                                           properties include:
 print.
                                           timestamp=true|false
 print.
                                           key=true|false
 print.
                                           offset=true|false
 print.
                                           partition=true|false
 print.
                                           headers=true|false
 print.
                                           value=true|false
 key.separator=<key.
                                           separator>
 line.separator=<line.
                                           separator>
 headers.separator=<line.
                                           separator>
 null.literal=<null.
                                           literal>
 key.deserializer=<key.
                                           deserializer>
 value.
                                           deserializer=<value.deserializer>
                                           header.deserializer=<header.
                                           deserializer>

Users can also pass
                                           in customized properties for their
                                           formatter; more specifically, users
                                           can pass in properties keyed with
                                           'key.deserializer.', 'value.
                                           deserializer.' and 'headers.
                                           deserializer.' prefixes to configure
                                           their deserializers.
--skip-message-on-error                  If there is an error when processing a
                                           message, skip it instead of halt.
--timeout-ms <Integer: timeout_ms>       If specified, exit if no message is
                                           available for consumption for the
                                           specified interval.
--topic <String: topic>                  The topic to consume on.
--value-deserializer <String:
  deserializer for values>
--version                                Display Kafka version.
--whitelist <String: Java regex          DEPRECATED, use --include instead;
  (String)>                                ignored if --include specified.
                                           Regular expression specifying list
                                           of topics to include for consumption.

 

--bootstrap-server

--bootstrap-server  REQUIRED: The server(s) to connect to.

→ 연결할 서버이며 필수값입니다.

 

--consumer-property

--consumer-property  A mechanism to pass user-defined properties in the form key=value to the consumer.
 
→ key=value 형식의 사용자 정의 속성을 소비자에게 전달하는 메커니즘입니다.

 

--consumer.config

--consumer.config  Consumer config properties file. Note that [consumer-property] takes precedence over this config.

→ 소비자 구성 속성 파일. [consumer-property]가 이 구성보다 우선합니다.

 

--enable-systest-events

--enable-systest-events  Log lifecycle events of the consumer in addition to logging consumed messages. (This is specific for system tests.)

→ 소비된 메시지를 기록하는 것 외에도 소비자의 수명 주기 이벤트를 기록합니다. (이는 시스템 테스트에만 적용됩니다.)

 

--formatter

--formatter  The name of a class to use for formatting kafka messages for display. (default: kafka.tools. DefaultMessageFormatter)

→ 표시할 kafka 메시지의 형식을 지정하는 데 사용할 클래스의 이름입니다. (기본값: kafka.tools.DefaultMessageFormatter)

 

--from-beginning

--from-beginning If the consumer does not already have an established offset to consume from, start with the earliest message present in the log rather than the latest message.

→ 소비자가 사용할 오프셋을 아직 설정하지 않은 경우 최신 메시지가 아닌 로그에 있는 가장 오래된 메시지부터 시작합니다.

 

--group

--group  The consumer group id of the consumer.

→ consumer group id 입니다.

 

--include

--include  Regular expression specifying list of topics to include for consumption.

→ consume을 위해 포함할 Topic 목록을 지정하는 정규식입니다.

 

--isolation-level

--isolation-level  Set to read_committed in order to filter out transactional messages which are not committed. Set to read_uncommitted to read all messages. (default: read_uncommitted)

→ 커밋되지 않은 트랜잭션 메시지를 필터링하려면 read_committed로 설정합니다. 모든 메시지를 읽으려면 read_uncommitted로 설정하십시오. (기본값: read_uncommitted)

 

--key-deserializer

--value-deserializer

 

--max-messages

--max-messages   The maximum number of messages to consume before exiting. If not set, consumption is continual

→ 종료하기 전에 사용할 최대 메시지 수입니다. 미설정 시 지속적으로 consume

 

--offset

--offset  The offset to consume from (a non- negative number), or 'earliest' which means from beginning, or 'latest' which means from end (default: latest)

→ 소비할 오프셋(음수가 아님) 또는 처음부터를 의미하는 'earliest' 또는 끝을 의미하는 'latest'(기본값: latest)

 

--partition

--partition  The partition to consume from. Consumption starts from the end of the partition unless '--offset' is specified.

→ 사용할 파티션입니다. '--offset'을 지정하지 않는 한 파티션 끝에서 consume이 시작됩니다.

 

--property

--property  The properties to initialize the message formatter.

→ 메시지 포맷터를 초기화하는 속성입니다.

 

--skip-message-on-error

--skip-message-on-error If there is an error when processing a message, skip it instead of halt.

→ 메시지를 처리할 때 오류가 발생하면 중지하지 말고 건너뜁니다.

 

--timeout-ms

--timeout-ms  If specified, exit if no message is available for consumption for the specified interval.

→ 지정된 경우 지정된 간격 동안 사용할 수 있는 메시지가 없으면 종료합니다.

 

--topic

--topic  The topic to consume on.

→ consume할 Topic입니다.

 

--whitelist

--whitelist  DEPRECATED, use --include instead; ignored if --include specified. Regular expression specifying list of topics to include for consumption.

→ 더 이상 사용되지 않으며, --include 옵션이 설정되면 무시됩니다.
→ consume을 위해 포함할 Topic 목록을 지정하는 정규식입니다.