알림 기능 구현시 kafka와 redis에 대해서

Question

안녕하세요 선배님들 프로젝트에서 판매자가 구매자의 리뷰에 답글을 달면 해당 리뷰를 작성한 구매자에게 알림을 보내려고 합니다.알림을 보내기 위해서 어떤 기술을 선택해야할 지 알아보니사용자별로 채널을 구독해 사용자별로 개인화된 알림을 보낼 수 있는 Redis의 pub/sub가 적합하다고 생각했습니다.그런데 MSA 환경을 고려해 Kafka도 적용해서 Kafka -> Redis -> 클라이언트 순으로 알림을 전달되도록 구현하려 합니다. 검색해보니까 kafka랑 Redis를 많이 비교하던데현업에서는 주로 어떤 방식으로 사용하는지 궁금합니다.대규모 분산 트래픽이 적용된 환경에서는 kafka랑 Redis를 연결해서 사용하는 방식으로 많이 사용하나요 ?

초무쿤 · Accepted Answer

한번 참고해보시죠 (chatgpt 답변)—카프카(Kafka)와 레디스(Redis)는 둘 다 데이터 처리와 메시징 시스템이지만 서로 다른 목적과 사용 사례를 가지고 있습니다.1. *Kafka*: - *목적*: 대용량의 데이터 스트리밍과 이벤트 로깅을 위한 분산 메시징 시스템. - *특징*: - Publish-Subscribe 모델과 메시지 큐를 지원하여 이벤트 스트리밍과 데이터 파이프라인을 구축하기에 적합. - 데이터의 영속성을 보장하므로 데이터 손실 없이 안정적인 데이터 전달을 제공. - 다양한 컨슈머 그룹을 지원하여 데이터를 여러 애플리케이션으로 분배 가능. - 대량의 데이터를 처리하고 실시간 스트리밍 분석에 적합.2. *레디스(Redis)*: - *목적*: 고성능 데이터베이스 및 캐시 시스템. - *특징*: - 메모리 기반 데이터 저장소로 빠른 데이터 액세스를 지원. - 다양한 데이터 구조를 지원하며 캐싱, 세션 관리, 랭킹, 메시지 큐 등 다양한 용도로 사용 가능. - 영속성 옵션을 제공하지만 Kafka처럼 안정적인 메시징을 위한 메커니즘은 아님. - 데이터 조회 및 업데이트에 최적화되어 있어 주로 데이터베이스 및 캐싱 용도로 사용.요약하면, Kafka는 데이터 스트리밍과 메시징을 위한 분산 시스템으로 대용량 데이터 처리와 이벤트 기반 아키텍처에 적합하며 데이터의 영속성이 중요할 때 사용합니다. 반면 Redis는 고성능 캐싱 및 데이터베이스 역할을 하는 메모리 기반 스토리지로 빠른 데이터 액세스와 다양한 데이터 구조를 활용할 때 사용합니다. 선택은 사용 사례와 요구 사항에 따라 달라집니다.

초무쿤 · Answer

매시지큐인 Kafka요.Redis는 캐시용도가 더 적합한듯 합니다.

집킨 · Answer

둘중 하나를 골라야죠요건이 단 한번만 무조건 구독자에게 전송해야한다 이면 카프카를, 일부 데이터가 유실되거나 중복이 발생해도 상관없을땐 redis를 사용하면 됩니다근데 지금은 개인 플젝이여서 그렇지 트래픽이 많이 발생하는 서비스에선 하드디스크를 데이터 저장소로 쓰는 카프카를 많이 씁니다레디스도 aof나 rdb로 파일시스템에 저장가능하지만 기본적으로 인메모리 기반 시스템이기 때문에 대용량 서비스에서 알림 이벤트 스트리밍 용도로 쓰기엔 비용이 많이 들어요

인성 절구로 빻음 · Answer

pub/sub로 msa application에 broadcast할때는 redis만 사용해도 되지 않을까요?

치느님이진리 · Answer

전 kafka는 사용안해봐서 잘 모르지만, 저는 RabbitMQ를 이용해서 알림 구현했습니다.

알림 기능 구현시 kafka와 redis에 대해서

5개의 답변

기술 목록