천만건 데이터에 따른 성능저하 어떻게 해결해야하나요? (마리아디비,스프링부트)

Question

마리아디비를 사용중인데 실시간 데이터가 천만건까지 늘어나다보니 기존쿼리의 성능저하가 온 상황입니다. 일별로 파티셔닝을 주려고했지만 마리아디비에서 파티셔닝을 적용할때는 FK가 걸려있으면 안된다고해서 파티셔닝은 포기했습니다( 기존 코드에 잡혀있는 연관관계를 끊는대는 무리가 있다고 판단)천만건의 데이터 중 금일에 해당하는 데이터만 가져오면 되는 상황이라서,생각해본방법은 2가지입니다.금일관련테이블을 한 개 따로 만들어준 후, 데이터 insert시 금일관련테이블에도 동시에 넣어준 후 select할때는 금일관련테이블에서만 꺼내쓰는식, 그리고 24시가 넘어갈때 금일 관련테이블의 데이터들은 초기화데이터 insert시 레디스서버에도 동시에 insert해준 후, select할 때는 redis에서 꺼내쓰는식 ( 이 방법은 꺼내쓸 때 sql쿼리로 가져오는게 아니라 코드를 통해 조건을 걸어가며 redis에 있는 값을 가져와야하더라구요. 그래서 수정부분이나 유지보수 측면에서 무리가 있지않을까 생각합니다.)혹시 더 생각해볼 수 있는 방법이나, 위에 제가 생각한 방법으로 가는게 맞을까요 ?*참고: 데이터가 1초마다 들어오는 실시간 모니터링 서비스여서 데이터는 실시간으로 들어오나 새로고침했을 때만 값이 갱신되서 보여주기만 하면됩니다.

아슈 · Answer

첫번째 방안 괜찮네요. 근데 천만건정도에 그렇게 느려지나요? 조건이 많은가?.. 그렇게 많은 로우는 아닌데요.조회조건에 인덱스를 제대로 타는지 플랜을 한번 검토해보심이..느려진다 치면 1억건은 넘어야...

allinux · Answer

rdms 에 넣을 데이터인가를 먼저 고민해봐야겠습니다.log성 데이터라면 file 로 적재하고 데이터를 spark 같은 솔루션으로 일일 배치로 집계처리를 한 뒤 rdbms 에 적재하는 식...실시간성이 중요하다면 stream 처리를 위한 kafka 를 두고 처리를 하던지...하는 식의 아키텍쳐 고민도 필요해 보입니다.

징징이희수 · Answer

파티셔닝같은 경우는 과거 데이터를 주기적으로 삭제해주지 않는 이상 추후 성능 이슈가 무조건 발생합니다.데이터가 천만건정도인 테이블에 성능 저하라면 쿼리 튜닝부터 진행해보심이 좋을 것 같아요. 클라우드라면 스펙을 올려보는 것도 방법이지만, 쿼리 튜닝으로 가능하다면 줄일 수 있을 겁니다.

천만건 데이터에 따른 성능저하 어떻게 해결해야하나요? (마리아디비,스프링부트)

3개의 답변

Q&A 목록