파티션 전략 이게 맞을까요?

Question

우선 파티션 에 대해 아직 좀 미숙해서 틀린 부분이 있을거 같습니다..감안하고 틀린건 지적해주세요.기존에 일별 파티션으로 작업이 되어 있었고 해당 일별 파티션 에서 월별 파티션으로 변경할려고 합니다. DB 는 mysql 입니다.제가 이해하기로는 파티션은 데이터를 물리적으로 분리하는 기술이라, 서버에 ibd 파일이 별도로 저장되고 특정 기간을 조회하는 쿼리를 실행할 때 MySQL 엔진이 해당 파티션 파일들을 열어 데이터를 읽어오는 것으로 알고 있습니다.이 과정에서 일별 데이터 적재량이 적을 경우에는 일별 파티션보다 월별로 분리하는 것이 유리하다고 생각합니다. 예를 들어 10월 1일부터 12월 31일까지 조회한다고 가정했을 때, 월별 파티션이라면 10, 11, 12월 총 3개의 파티션만 접근하면 되지만, 일별 파티션이라면 약 93개의 파티션에 모두 접근해야 하기 때문입니다.하지만 한 가지 우려되는 점은, 월별 파티션으로 합쳤을 때 단일 파티션의 용량이 10GB 이상으로 커지는 경우입니다. 파일 용량이 커지면 DB 서버에서 한 번에 열거나 처리해야 할 부담이 커져서 Disk I/O에 악영향을 줄 수 있는지 궁금합니다.대충 위 처럼 이해하고 있는 상태입니다. 잘못알고 있는 부분도 있을거 같습니다.파티션 구성시 어떠한 부분을 고려해야 좋을까요. 추가로 파티션 갯수가 1천개 정도로 제한되어 있는 걸로 알고 있으며 관리 측면에서는 데이터를 어느기간 정도 보관할건지에 따라 달라질수도 있을거 같긴 합니다.가령 3년 정도의 보관 데이터의 경우 365*3 으로 이미 천개의 파티션이 넘어가기 때문에 일별로 데이터를 삭제해줘야 하지만 월별의 경우에는 그보다 더 오랜 기간 데이터를 보관할수 있는 장점이 있을거 같습니다.

xml개발자 · Accepted Answer

1) 예를 들어 10월 1일부터 12월 31일까지 조회한다고 가정했을 때, 월별 파티션이라면 10, 11, 12월 총 3개의 파티션만 접근하면 되지만, 일별 파티션이라면 약 93개의 파티션에 모두 접근해야 하기 때문입니다. -> 네 맞습니다. 월별 조회하면 당연히 월별 파티션이 더 효율적입니다.하지만, 실제로는 3개나 93개나 사람이 체감할 수 없을 정도로 무의미한 수치입니다.작성자님이 생각하시는 것보다 현재의 컴퓨팅 능력은 훨씬 우월합니다..for문 10번 돌리는 거랑 100번 돌리는 거랑 시간을 재보시면 됩니다.2) 하지만 한 가지 우려되는 점은, 월별 파티션으로 합쳤을 때 단일 파티션의 용량이 10GB 이상으로 커지는 경우입니다.파일 용량이 커지면 DB 서버에서 한 번에 열거나 처리해야 할 부담이 커져서 Disk I/O에 악영향을 줄 수 있는지 궁금합니다.-> 단일 파일을 한번에 열지 않고, 내부적으로 row 단위? 페이지단위? 로 읽는 걸로 알고 있습니다.항상 10GB씩 여는게 아니라, 16KB 단위로만 잘라서 오픈하는거죠.물론 풀스캔이면 10GB를 모두 열겠죠.3) 파티션 구성시 어떠한 부분을 고려해야 좋을까요.-> 상황에 따라 다릅니다.지금의 '일별' 파티션은.. 아마도 성능을 위해 하신 것 같네요.하지만 요즘은 성능이 워낙 좋아서 '관리'를 위해서 '월, 년' 단위 파티션이 더 나을 수 있을 것 같습니다.

파티션 전략 이게 맞을까요?

1개의 답변

기술 목록