실시간으로 생산되는 데이터를 서버에 저장하기

Question

완전 백엔드 초짜입니다,,, 도와주세요ㅜㅅㅜ현재 진행하고 있는 프로젝트에서 사용자의 이동경로를 트래킹하는 기능을 구현하고자 합니다.사용자 디바이스의 현재 위치 정보를 실시간(약 1초 간격)으로 서버에 전송하여 데이터베이스에 저장을 해야하는 상황입니다.제 생각에는 초단위 간격으로 API가 호출되니, 부하가 꽤 클 것 같아 메세지큐를 두어 처리하면 좋을 것 같다는 생각을 했습니다.그런데 다른 팀원분께서 그럴 필요없이 API 하나 만들어서 NoSQL DB에 insert해도 무방할 것 같다는 조언을 해주셨습니다.이 정도 볼륨의 기능에 메세지큐를 도입할 필요가 있을까요?만약 도입할 필요가 있다면 Kafka와 RabbitMQ 중에서 어떤 것을 사용하는게 좋나요? (Event Broker를 사용할 필요가 있을까요?)오프라인 상태일 때는 위치정보를 서버로 전송할 수 없을텐데 이를 해결할 수 있는 방법이 있나요? (키워드만이라도 알려주신다면 꼭 공부해서 적용해보겠습니다..!!)

캐티 · Answer

...단일 insert를 심하게 반복하면 오버헤드가 터지지 않겠나요. 이렇다 하더라도 반응성이 중요한 작업이면 어쩔 수 없이 감안 해야 해요!도입하려는 저것이 저기 쓰는 용도가 맞는지, 사용하지 않아 모르겠는데 메세지 큐 시스템은 일괄처리에 사용 될 수 있으므로 insert할 레코드를 모아서 넣으면 좋지 않겠나요.오프라인 상태에서는 클라이언트가 자료를 가지고 있다가 온라인 상태가 되었을 때 전송을 해야 하지 않겠나요. 메모리에 보관 하거나 sqlite3 ..실시간 데이터 처리는 보정도 들어가야 할 것이고 .. gps좌표가 항상 일정한 것이 아니어서 말이어요. 노이즈라는 것이 .. 200ms 마다 신호를 받고 이 중 적당한 이동 편차를 1초 단위로 저장하면 되지 않겠나요. gps좌표를 수신하는 것인지도 알 수 없으므로 잘 연구해보시면 되지 않겠나요.

오짱이에요 · Answer

1초는 의미가 없구요...rps가 중요한데...사용자의 수랑 동시접속자수를 알아야하고...크리티컬하지 않을거 같으니 postgres면 관련 파라메터좀 튜닝하고 NOLOCK하면 왠만한 트래픽은 문제 없을같아요...근데 1초? 모 기관이랑 국책 할 때 어떤분이 50Hz로 전력 사용량 측정해달라고한거 다음으로 의미없는 인터벌인거 같은데...그렇게 자세할 필요가 있을까요?또 그렇게 모은 데이터를 일정 기간 후에 discard 해야할지 영구 저장해야할지 저장하면 그건 cold data일지 아닐지....케바케입니다..

초무쿤 · Answer

규모가 크지 않다면 API에사 직접 @Async나 Blocking Queue로 구현하셔도 무방하지 않을까 싶습니다.(메인기능이면 장기작으로 메시지서버 도입이 좋을수도 있는데 그냥 서브기능이라면 오히려 관리포인트만 늘어날수도..consumer 어플리케이션을 또 만들어야되니)표준은 아니지만 Kafka가 더 많이 쓰이는듯 하긴 합니다.그것은 정책이라 ..

zupserupse · Answer

이 정도 볼륨이 어느정돈지 본문에는 안나와있네요.둘이 차이 크고 카프카는 특히 DevOps 있거나 직접 메인테인 할 자신 있는거 아니면 하지 마세요 피봅니다.플랫폼에 따라 다른데 보통 로컬에서 들고 있다 한번에 보내죠?

yeori · Answer

작업의 맥락을 모르니 구체적인 대응은 힘들고..맥락이란건 이런겁니다.위치추적이 반드시 실시간이어야 하는지최대 허용 지연 시간은?위치 데이터를 수집하는 목적이 무엇인지(단순 통계용? 직원 위치 파악?)데이터를 긁어모으는 일이 중요한게 아니라, 그 데이터를 무엇을 하려는지 알아야 NoSQL을 쓸지 디바이스에서 백업해서 한방에 보낼지 결정할 수 있습니다.

실시간으로 생산되는 데이터를 서버에 저장하기

5개의 답변

Q&A 목록