카프카
-
Kafka 클러스터 메세지 발행 및 문제 해결Kafka 2021. 10. 4. 01:46
1) 서론 단순 공부 및 테스트 위해 local 환경에서 broker 4 + zookeeper 3개의 서버를 사용합니다. 깊이 있는 설정은 배제하고, 전체적인 흐름 파악에 집중했습니다. 이 글에서는 카프카 클러스터의 설정 방법은 설명하지 않습니다. 궁금하신 분들은 아래 글을 참고해주세요. Kafka 클러스터 구성 및 장애 해결 Zookeeper 클러스터 및 컨트롤러 선출 전체적인 구조입니다. 꼭 8082 포트가 controller가 되는건 아닙니다. 단순 예시입니다. 2) 설정 최소한의 설정만 합니다. producer / consumer.properties (동일) // 연결할 broker 주소들 bootstrap.servers=localhost:8081,localhost:8082,localhost:80..
-
Zookeeper 클러스터 및 컨트롤러 선출Kafka 2021. 9. 19. 01:47
1) 서론 간단하게 zookeeper 3개의 서버를 실행시켜 클러스터로 만듭니다. 그리고 zookeeper에 등록되는 컨트롤러 브로커의 장애 발생 시 어떻게 되는지 살펴봅니다. +) 공부하는 입장에서 작성하는 "Hello World" 수준의 글입니다. 내용에 잘 못된 점이 있다면, 언제든지 댓글 남겨주세요! 2) Zookeeper zookeeper는 분산 애플리케이션들의 관리를 도와주는 역할을 합니다. 개발자로 하여금 비즈니스 로직에만 집중할 수 있게 하고, 클라이언트(kafka) 관리는 zookeeper가 대신해줍니다. 만약 zookeeper가 관리해주지 않는다면, 거대한 클러스터 애플리케이션의 설정과 동기화 등을 직접 관리해야 할 겁니다. kafka와 연동하여 서비스할 때 아래의 동작을 하게 됩니다...
-
Kafka 클러스터 구성 및 장애 해결Kafka 2021. 9. 12. 20:44
1) 서론 주키퍼(zookeeper) 1개 + 카프카(kafka) 3개 구성의 클러스터를 구성합니다. 학습에 목적을 두고 있기 때문에 최대한 간단한 클러스터를 구성했습니다. 이를 통해 카프카, 주키퍼의 설정 방식을 공부합니다. +) 학습과정의 블로그이므로, 오류는 댓글로 남겨주시면 감사히 수정하겠습니다! 2) Zookeeper 1대의 주키퍼 서버를 사용한다면, 더 설정할 것은 없습니다. 아래의 명령어를 통해 주키퍼를 먼저 실행합니다. $ bin/zookeeper-server-start config/zookeeper.properties or $ brew services start zookeeper 3) Kafka 카프카 브로커의 클러스터를 구성합니다. 우선, config/server.properties를 ..