kafka 동일 메세지 구독 질문

Question

kafka 질문입니다!기존에는 하나의 서버에서 kafka 토픽을 구독해서 처리해서 별 문제가 없었는데, 이중화 이슈가 생겨서 서버를 여러대 만들게 되었어요.근데, 당연하겠지만 하나의 서버가 메세지를 읽어가면 다른 서버가 메세지를 못읽어가서 문제가 생기고 있어요. 모든 서버가 메세지를 읽어서 각자 처리를 다 해야하는 성격의 메세지를 구독하거든요.그래서 검색을 해보니,토픽에 서버 수에 맞게 파티션을 만들고각 파티션에 동일 메세지를 하나씩 넣고컨슈머 그룹을 하나 만들고 서버들을 그 그룹에 포함시킨 뒤파티션과 그룹 내 컨슈머가 1:1로 매칭되어 있기에 모두 동일 내용을 가져간다이런 형태를 얘기하더군요.그런데, 어떤 블로그를 보니토픽은 1개, 파티션도 한 개서버에 파티션 그룹을 지정하지 않고(그럼 파티션그룹은 유니크하게 각자 만들어짐)해당 토픽을 각 서버가 구독하면 모두 같은 메세지를 가져간다라고 되어 있더군요.후자의 방법으로 하면 제가 원하는 바를 이룰 수 있을까요?아니면, 전자의 방법을 쓰거나 좀 더 나은 방법이 있을까요?예전에 rabbitMQ 쓸 때에는 exchange에서 서버별 queue에 맞게 자동 복제시키고 읽어가게 했는데, kafka는 이런 컨셉이 아니라서 잘 모르겠네요.그게 아니라면, AWS라서 멀티캐스트는 잘 안될꺼 같으니 Hazelcast 같은걸로 서버를 Cluster로 묶고 Hazelcast에서 서버들 IP목록 뽑아와서 나머지 애들에게도 이거 처리하라고 보내는 형태로 해야할까요? 이것도 예전에 해봤던 방식...의견들 좀 부탁드려요.

dev11111 · Accepted Answer

각각 consumer group 을 만드시면 1:n 구조로 사용가능합니다.

이경율 · Answer

앞에분 말씀대로 consumer group을 n개 만들면 그룹별로 관리되기때문에 하나의 토픽이 그룹별로 각각 관리 가능합니다

kafka 동일 메세지 구독 질문

2개의 답변

Q&A 목록