10만 개 UPDATE 쿼리를 실행 시 Kafka 와 spring batch 어떤 걸 써야 될까요??

Question

외부 API에 요청을 보내면 1~250번의 호텔 데이터와 endpoint_01 (URL)이 날라옵니다.endpoint_01에 요청을 보내면 251 ~ 500번의 호텔 데이터와 endpoint_02 (URL)이 날라옵니다... (반복).이런식으로 약 10만 개의 호텔 데이터를 받아와서 DB에 update를 해야 하는 작업입니다.이런 상황에서 Kafka 또는 Spring Batch 를 사용하면 작업처리 시간과 같이 최적화가 가능할까요?? 가능하다면 둘 중 어떤 걸 사용해야 좋을까요? 저는 kafka는 실시간으로 대용량 데이터 처리를 해주는 것이고, Spring Batch는 주기적으로 대용량 데이터 처리를 해주는 것으로 알고 있는데 맞게 이해하고 있는 걸까요?

쿠잉 · Answer

Redis에 넣어두고 writeback 으로 일괄로 기록하세요

집킨 · Answer

둘다 쓰는게 좋습니다DB에 업데이트하기 위한 이벤트(카프카에선 로그라고 하죠)를 적재할때 유실이 없고 중복이 없도록 보장하는것과 적재된 저장소에서 데이터를 잘 가져오는것과 가져온 데이터로 DB UPDATE를 잘 하는 건 별개의 영역입니다카프카는 적재와 가져오는것까진 가용성과 정확성을 보장해줄순 있지만 DB 업데이트는 보장해주지 못하죠이걸 스프링 배치로 커버할수있구요

10만 개 UPDATE 쿼리를 실행 시 Kafka 와 spring batch 어떤 걸 써야 될까요??

2개의 답변

Q&A 목록