kafka 명령어 정리

계속해서 오류가 많이 발생했다. 정확한 오류의 원인을 잘모르겠다.

kafka 서버에서 timeout 오류 , kafka connect 실행 안함 등등

아래처럼 하면 된다.

 

1. 카프카, 주키러 로그 c\tmp 폴더에서 모두 먼저 삭제

2. MariaDb실행, 주키퍼, 카프카 서버 실행 후

3. kafka connect 실행하면 이 때 topic 이 만들어진다. 

4. 이 topic에 kafka sink를 연결해서 사용한다. 

5. DB users 테이블에 데이터를 하나 insert 한다

6. DB 에서 show tables; (테이블 조회)하면 만들어진 topic 에 연결된 새로운 테이블이 생성된다. 

 

 

Kafka 실행하면서 수도 없이 실행했던 명령어를 순서대로 작성했다.

중간에 kafka connect 명령어 작성 후 kafka connect와 kafka sink는 postman으로 등록해준다 .

 

명령어 정리 

카프카 실행 위해 경로 변경
cd C:\Users\jun\kafka_2.13-3.1.2

주키퍼 실행
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

2181 포트 확인(zookeeper 서버 정상 실행 확인)
netstat -na | findstr "2181"

카프카 실행
bin\windows\kafka-server-start.bat config\server.properties

9092 포트 확인(kafka 서버 정상 실행 확인)
netstat -na | findstr "9092"

topic 생성 
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic (topic 이름)
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic dev-topic

topic 목록 확인 
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

kafka connect 실행 위한 경로 이동
cd C:\Users\jun\kafka_2.13-3.1.2\confluent-7.3.1

kafka connect 실행 
.\bin\windows\connect-distributed.bat .\etc\kafka\connect-distributed.properties

 

kafka connect  postman으로 등록

kafka sink postman으로 등록

kafka Connect 실행 후 토픽 확인
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

토픽데이터 확인
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic dev_topic_users --from-beginning

cd C:\Users\jun\kafka_2.13-3.1.2
프로듀서 실행
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic dev_topic_users

 

(아래는 프로듀서에 넣을 데이터 payload 에 데이터 값이 담겨있다. )

{"schema":{"type":"struct","fields":[{"type":"int32","optional":false,"field":"id"},{"type":"string","optional":true,"field":"user_id"},{"type":"string","optional":true,"field":"pwd"},{"type":"string","optional":true,"field":"name"},{"type":"int64","optional":true,"name":"org.apache.kafka.connect.data.Timestamp","version":1,"field":"created_at"}],"optional":false,"name":"users"},"payload":{"id":10,"user_id":"user_rrrrr","pwd":"test956","name":"rrrr","created_at":1700731375000}}

cd C:\Users\jun\kafka_2.13-3.1.2
consumer 실행
bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic dev_topic_users --from-beginning