Kafka4 KAFKA 작성중 MSA 아키텍쳐에서 KAFKA 를 많이 쓰는 이유 (이유) MSA 는 마이크로 서비스간 분리가 되어 있어 각 서비스간 통신이 불가능 MSA 서비스간 통신을 위한 방법 2가지 1.Restful API (Feign Client) : 통신을 위한 API를 계속 만들어야 함, 이는 개발 리소스적으로나 통신을 위해 새로운 API 를 만드는 것이 비효율적 2.Message Queue : 프로세스 또는 프로그램 인스턴스가 데이터를 서로 교환할 때 사용하는 통신 방법. 더 큰 의미로는 메시지 지향 미들웨어를 구현한 시스템을 의미 이를 통해서 시스템 간 호출이 많은 MSA 에서 서비스간 결합도를 낮춤 Queue라는 임시저장소가 있어 비동기로 메시지를 전달 가능 참고 (아래 3개보고 작성하면 된다.) https://vel.. 2023. 11. 28. kafka 명령어 정리 계속해서 오류가 많이 발생했다. 정확한 오류의 원인을 잘모르겠다. kafka 서버에서 timeout 오류 , kafka connect 실행 안함 등등 아래처럼 하면 된다. 1. 카프카, 주키러 로그 c\tmp 폴더에서 모두 먼저 삭제 2. MariaDb실행, 주키퍼, 카프카 서버 실행 후 3. kafka connect 실행하면 이 때 topic 이 만들어진다. 4. 이 topic에 kafka sink를 연결해서 사용한다. 5. DB users 테이블에 데이터를 하나 insert 한다 6. DB 에서 show tables; (테이블 조회)하면 만들어진 topic 에 연결된 새로운 테이블이 생성된다. Kafka 실행하면서 수도 없이 실행했던 명령어를 순서대로 작성했다. 중간에 kafka connect 명령어.. 2023. 11. 23. Kafka 윈도우 실행 Kafka 윈도우 실행 총 4개 cmd 창 실행 zookeeper 서버 기동 Kafka 서버 실행 topic 생산 (Producer) topic 소비 (Consumer) 우선 모든 cmd 창 경로는 kafka 설치된 곳으로 바꿔놓기 cd C:\Users\jun\kafka_2.13-3.1.2 1) Zookeeper 서버 실행하기 경로 변경 zookeeper 실행한다 # zookeeper 실행 명령어 bin\windows\zookeeper-server-start.bat config\zookeeper.properties zookeeper 정상 실행되었는지 cmd 로 port 확인 새로운 cmd 창에서 아래 명령어로 port 를 조회한다 default 값으로 2181 port 지정 # windows에서 2181.. 2023. 11. 11. kafka 설치 Kafka 설치 https://kafka.apache.org/downloads Kafka 설치의 경우 윈도우나 맥 상관없다. 본인은 2.8.2 의 scala 2.13 을 선택. 이유는 spring boot 호환을 위해서 (spring boot 버전 2.7.xxx) 다운로드 받은 얘를 압축해제 해주면 이런 파일이 만들어진다. 파일 구성 확인 kafka_2.13-3.1.2 폴더 안의 구성 아래 1) {kafka 폴더}/bin/windows: zookeeper, kafka 실행 bat파일 들어있습니다. 2) {kafka 폴더}/config: zookeeper, kafka config파일 들어있습니다. 바로 실행해봤습니다. 다음 글에서 2023. 11. 11. 이전 1 다음
