confluentkafka24 kafka CLI 사용하기 - kafka-consumer-group.(sh | bat) 💡 이번 포스팅에서는 kafka-consumer-group.(sh | bat)에 대해 알아보도록 하겠습니다. kafka-consumer-groups 명령어를 사용하면 다음과 같은 정보를 확인할 수 있습니다 Consumer Group list 정보 Consumer Group과 Consumer 관계, Partition 등에 대한 상세 정보 Consumer Group 삭제 Producer가 전송한 Log Message의 지연 Lag 정보 그리고 kafka-consumer-groups 명령어에 사용할 수 있는 옵션은 아래와 같습니다. user@ubuntu:~/data/kafka-logs/multipart-topic-0$ kafka-consumer-groups Missing required argument "[b.. 2023. 4. 8. kafka CLI 사용하기 - kafka-dump-log 💡 이번 포스팅에서는 kafka-dump-log에 대해 알아보도록 하겠습니다. kafka-dump-log 설명을 보면 로그 파일을 파싱 하여 그 내용을 콘솔에 덤프 하도록 도와주며, 손상된 로그 세그먼트를 디버깅하는데 도움이 된다고 합니다. user@ubuntu:~/confluent/bin$ kafka-dump-log --help This tool helps to parse a log file and dump its contents to the console, useful for debugging a seemingly corrupt log segment. Option Description ------ ----------- --cluster-metadata-decoder if set, log data wi.. 2023. 4. 4. KafkaProducer 💡 이번 포스팅에서는 KafkaProducer 객체에 대해 알아보도록 하겠습니다. kafka의 producer에 대해 궁금하신 분들은 아래 producer에 대해서 정리한 포스팅이 있으니 참고하시면 좋을 것 같습니다. Producer 프로듀서는 카프카의 토픽으로 메시지를 전송하는 역할을 담당합니다. 위 이미지는 프로듀서의 전체적인 흐름을 나타낸 것입니다. 먼저 카프카로 전송하기 위한 실제 데이터인 ProducerRecord를 생 soono-991.tistory.com kafka를 사용하기 위해서는 아래와 같이 의존성을 추가해야 합니다. implementation 'org.apache.kafka:kafka-clients:3.1.2' 그리고 kafka-client에서 제공하는 KafkaProducer 객체를.. 2023. 4. 4. Producer 프로듀서는 카프카의 토픽으로 메시지를 전송하는 역할을 담당합니다. 위 이미지는 프로듀서의 전체적인 흐름을 나타낸 것입니다. 먼저 카프카로 전송하기 위한 실제 데이터인 ProducerRecord를 생성합니다. 레코드는 Topic, Partition, Key, Value로 구성됩니다. 프로듀서가 카프카로 메시지를 전송할 때 특정 Topic으로 메시지를 전송합니다. 따라서 레코드 구성 요소에서 Topic, Value은 필수 값이며, Partition, Key는 옵션 값입니다. send() 메서드를 통해 레코드를 전송하면 프로듀서는 가장 먼저 데이터가 네트워크를 통해 전송될 수 있도록 레코드를 ByteArrays로 직렬화합니다. 그런 다음 직렬화된 데이터가 파티셔너로 전송됩니다. 클라이언트는 메시지를 게시하는 .. 2023. 4. 3. kafka CLI 사용하기 - kafka-console-consumer.(sh | bat) kafka-console-producer가 표준 입력을 통해 Topic에 데이터를 publish하는 것이라면, kafka-console-consumer는 표준 출력을 통해 Topic에서 데이터를 subscribe하는 것입니다. This tool helps to read data from Kafka topics and outputs it to standard output. → 이 tool은 kafka Topic에서 데이터를 읽고 표준 출력(모니터)으로 출력할 수 있도록 도와준다. This tool helps to read data from Kafka topics and outputs it to standard output.-->파일 설명 Option Description ------ ----------- .. 2023. 3. 28. kafka CLI 사용하기 - kafka-console-producer.(sh | bat) 이번에는 kafka-console-producer.(sh|bat)을 사용해보겠습니다. kafka-console-producer는 CLI 환경에서 메시지를 topic에 전송하기 위해 사용합니다. kafka-console-producer는 어떤 옵션들이 있는지 확인해보겠습니다. This tool helps to read data from standard input and publish it to Kafka. → 이 도구는 표준 입력(키보드)에서 데이터를 읽고 kafka에게 publish 할 수 있도록 도와준다. This tool helps to read data from standard input and publish it to Kafka. --> 파일 설명 Option Description ------ -.. 2023. 3. 28. kafka CLI 사용하기 - kafka-topics.(sh | bat) CLI (Command Line Interface) 환경에서 kafka 명령어와 동작 방식에 대해 학습해보도록 하겠습니다. 가장 먼저 Topic을 생성, 삭제, 변경, 설명(출력) 해보는 명령어를 학습해보도록 하겠습니다. kafka의 Topic을 제어할 수 있는 파일은 kafka-topic.(sh | bat) 입니다. 확장자가 2개인 이유는 ubuntu의 경우는 sh, window의 경우는 bat파일이기 때문입니다. Kafka에서 Topic 제어하기 Ubuntu: kafka-topics.sh Window: kafka-topics.bat 각각 환경에 따라 실행 파일이 다르지만, 실행 파일의 경로 또한 다릅니다. ubuntu의 경우 /bin 폴더에 존재하지만, window의 경우에는 /bin/windows/.. 2023. 3. 28. kafka 설치 이제 kafka를 설치해보겠습니다. window, linux 두 가지 환경에 각각 설치해보도록 하겠습니다. window 먼저 kafka 공식 사이트에서 kafak를 다운로드 합니다. 그리고 한 가지 알아두어야 할 점은 kafka는 JVM 위에서 동작하기 때문에 JDK가 설치되어 있어야 합니다. (JDK8 이상) 파일을 압축해제 한 후 적당한 곳에 옮긴 후 zookeeper, kafka를 순서대로 실행합니다. zookeeper에 대해서는 추후 따로 정리해보도록 하겠습니다. zookeeper 실행 kafka server를 실행하기 전에 반드시 zookeeper를 먼저 실행해야 합니다. # cd {압축 풀었던 kafka 폴더} # cd C:\dev\kafka\kafka_2.13-3.4.0 # .\bin\win.. 2023. 3. 27. kafka 시작하기 kafka를 시작하기 전에 간단하게 kafka가 무엇인지 알아보고 가도록 하겠습니다. kafka 공식 사이트의 설명을 보면 위와 같이 설명이 되어 있지만, 여기서 우리가 집중해볼 부분은 kafka는 오픈 소스 분산 이벤트 스트리밍 플랫폼이라고 합니다. event streaming? 이벤트 스트리밍에 대해서 공식 사이트에서 아래와 같이 설명하고 있습니다. 그렇다면 kafka가 이벤트 스트리밍인게 무슨 뜻일까? 카프카는 아래 세 가지 주요 기능을 결합하여 이벤트 스트리밍에 대한 사용 사례를 구현할 수 있다고 합니다. 1. 다른 시스템에서 데이터를 지속적으로 가져오기/내보내기를 포함하여 이벤트 스트림을 게시(쓰기)하고 구독(읽기)합니다. 2. 원하는 기간 동안 지속적이고 안정적으로 이벤트 스트림을 저장합니다... 2023. 3. 27. 이전 1 2 다음
