다량의 데이터를 group by 할 때 속도를 개선할 수 있는 방법이 뭐가 있을까요?

Question

고수님들께 group by의 속도를 개선하는 방안에 대해 여쭙고 싶습니다.아래의 쿼리를 실행하는데 현재 duration이 11초 정도로 나옵니다.아파트거래(housedeal) 테이블에서 &#34;주공&#34;이라는 문자열이 포함된 아파트 명을 가진 거래정보의 가장 최근 거래일자를 추출하려고 합니다.houseinfo에는 아파트명이 있지만 housedeal에는 없고, houseinfo의 pk인 aptCode를 housedeal이 fk로 가지고 있습니다.housedeal의 pk는 no라는 칼럼입니다.주공이라는 문자열을 가진 아파트는 총 851개이며, 이를 housedeal 테이블과 inner join 하면 약 32만건의 data가 추출됩니다.(housedeal 전체 데이터는 440만건)이 data에서 group by를 진행하니 11초가 소요되게 됩니다. 이를 개선하기 위해 MySQL Group by Optimization을 읽어봤는데, 제 경우에는 해당이 되지 않는 것 같고, 파티셔닝의 경우도 복잡한 작업이기도 하고 housedeal 테이블의 aptCode가 뒤죽박죽 되어 있는 상황에서 가능한지 모르겠습니다. 이외에 group by의 속도를 개선할 수 있는 방법이 있을까요? 쿼리는 다음과 같습니다! select max(dealDate), max(no) from housedeal hd, houseinfo hi where hi.aptName like concat ('%', &#34;주공&#34;, '%') and hi.aptCode &#61; hd.aptCode group by hi.aptCode;

냥냥가면 · Answer

concat ('%', "주공", '%') 을 왜 하시는 건가요?이것만 수정해도 속도가 확 줄어들텐데

kenu,전독시 · Answer

2가지 방법이 있는데, 하나는 DB의 indexing과 다른 하나는 lucene(또는 elasticsearch) 같은 검색엔진 사용하는 법입니다.회사에 DBA 하시는 분이 있다면 확인해 보세요.

집킨 · Answer

이 케이스는 엘라스틱 서치 쓰는게 나을거같은데욥..

언리얼 · Answer

houseinfo 테이블에 lhFlag(주공여부) 필드 추가하는 게 어떨지..

엡실론 · Answer

no는 auto-increment 일테고, no가 제일 큰 쪽이 deal date도 제일 크겠죠?fk 에 인덱스가 안 걸려있다면 housedeal의 aptCode에 인덱스를 걸고max(no)만 가져오고, 다시 house deal과 조인해서 dealDate를 가져오면 개선이 되지 않을까 추측해봅니다.아니면 aptCode 인덱스에 추가로 aptCode, dealDate 인덱스를 걸어도 되고요.

캐티 · Answer

create table .. 쿼리와 explain select .. 실행한 결과를 올려주시면 좋지 않겠나요.아마도 개선 방법이 많을 것으로 보여요.

zeroman · Answer

짧은 의견입니다.주공이 들어간 아파트 명에 max(dealDate), max(no) 만 구하는건데요.select 문을 보면 MAX 로 두 개의 컬럼에 적용되어 있고 그룹핑 할 컬럼은 안보이네요..어짜피 max 값 2개 구하는 거면... group by 빼도 될 듯 한데윰...아닌가??? 슝~~~~

테스트맨 · Answer

글 참조하세용.제글이에용.https://hjjungdev.tistory.com/115

다량의 데이터를 group by 할 때 속도를 개선할 수 있는 방법이 뭐가 있을까요?

8개의 답변

Q&A 목록