마리아디비 대용량 데이터 쿼리

Question

안녕하세요1초에 한개씩 데이터가 쌓여서 하루에 86400개의 데이터를 보유하게됩니다.테이블은 연단위로 관리하여 2023, 2024 테이블 이런식으로 존재합니다.컬럼은 3개이며 PK컬럼, 날짜컬럼, 데이터컬럼이 있습니다.해당 데이터를 모니터링 웹 시스템에서 보여줘야해서 날짜컬럼을 기준으로 조회하여 차트를 그리게 됩니다.초반에는 괜찮았으나 시간이 지나면서 데이터가 점점쌓이고 7월이 된 지금 쿼리속도가 5분이 넘게 걸려 정상사용이 불가합니다.쿼리는 기본 SELECT와 WHERE절 쿼리를 활용하고있으며 인덱스를 설정해두었는데도 너무 느린상황입니다.월별로 테이블을 나누어야할까요..? 고수분들의 의견 부탁드립니다.

요리조리이리 · Answer

일단 조회조건에 대해서 조금 더 상세하게 설명해주셔야합니다.모니터링 웹시스템에서 보여주는 데이터가 년별 데이터인지 월별데이터인지, 일별데이터인지조회조건의 구성이 어떻게되는지 (조회조건이 일자범위(between ~and)인지, 단일데이터인지)

Clickin · Answer

파티션하면 해결될 것 같은데요?년도별 파티션 정도면 무방할 듯 합니다.대신 파티셔닝하면 실행계획을 면밀히 검토해야합니다.https://mariadb.com/kb/en/partitioning-overview/https://good-dba.gitbooks.io/mariadb-sql-for-oracleuser/content/c02_4_partition_design.html

르매 · Answer

상상은 되는데 정확히 1초 마다 1개의 행을 쌓는 규칙이 있다면, datetime이 pk였어야 합니다.그리고 모든 집계를 저 원본에서 하지 않고, 일 단위와 월 단위의 집계 테이블을 배치로 작성해 사용하는게 일반적입니다.

더미 · Answer

날짜 인덱스를 만들고파티셔닝하십쇼

파카포키 · Answer

급하게 업무를 마무리하느라 감사답변이 늦었습니다..먼저 varchar타입으로 되어있는 날짜컬럼을 데이트타임으로 변경하였습니다.월별로 파티셔닝을 진행하였으며 인덱스 설정을 진행하니 속도가 매우 개선되었습니다.감사합니다!

마리아디비 대용량 데이터 쿼리

5개의 답변

#mariadb 목록