60만개의 데이터의 SELECT...

Question

안녕하세요 요즘에는 무슨일이 터지고 서칭으로도 잘 안나올때 okky 커뮤니티 자주 사용하는 것 같네요 ...다름이 아니라 회사db중에서 order101 126(각각 7000개의 행) 까지의 테이블이 있고 log101 126(각각 60만개의 행)이 있습니다.... 여기서 order101부터 126까지 행 하나씩 조건에 맞는 log의 데이터마다 처리를 해줘야하는데요 . db 쿼리를 돌려보니 실행속도가 말도 안되게 나와서 이것을 좀 더 효율 적으로 할 수 있는 지 궁금합니다...아래에 다시 정리하자면 order101 ~ 126 테이블에서 한 테이블 한 행마다 데이터를 가지고 옴log101 ~ 126을 보면서 order에서 찾은 데이터랑 맞다면 update 를 해야함쿼리 실행 속도가 너무 안나옴..감사합니다.. 다들 즐거운 금요일 화이팅입니다!

wharup · Answer

order 테이블들의 18만 건을 메모리에 읽어서, log 테이블의 데이터를 순차적으로 업데이트하면 어떨까요?

kenu,전독시 · Answer

이런 이슈는 컨설팅 받아도 쉽지 않은 것이긴 합니다.elasticsearch 추천합니다.

Clickin · Answer

로그테이블에 인덱스 형태는 어떤가요?대량의 데이터를 조회하는 경우 인덱스 힌트를 사용해 정렬하면 이미 정렬된 인덱스를 사용해서 추가적인 정렬 비용이 소모되지 않습니다.

allinux · Answer

kenu 님 의견에 동의합니다.해당 쓰레드에 맞지 않는 코멘트일 수 있으나 (아마도 비정형에 가까운) log 데이터를 RDBMS 에 넣고 빠르게 조회하겠다는 것은 안맞는 솔루션 같습니다.

한안아 · Answer

log101 ~ 126 테이블을 업데이트 쳐야하는거죠?단순하게 전체 필드 업데이트만 해도 시간이 걸릴거로 예상되네요...목표시간이 있나요?테이블이 order(1) -< log(n) 관계인경우 log를 order에서 log 목록을 찾아서 한번에 여러건식 업데이트 하는게 좀더 빠를거 같네요... 조인필드는 인덱스나 pk 필수로 생성해야 합니다.&#61;> 14000회 업데이트 필요기존 log에서 order 찾기 &#61;> 120만회 업데이트 필요.

60만개의 데이터의 SELECT...

5개의 답변

#select 목록