매일 실행되는 배치(PL/SQL) 속도를 개선해야 하는데 좋은 방법이 있을 까요?

Question

정확히 기억은 안 나는데 보수해야 하는 로직 흐름이테이블(1)에서 커서 select문을 이용하여 보관 기간이 지난 데이터를 찾는다.커서 조건SELECT *FROM Table_1 WHERE 갱신 날짜 > 보관 기간 ? AND NOT IN (.. FROM Table_1 WHERE 복사 처리 플래그? ..)커서 조건은 대충 기억나는 대로 적은 거라 정확하지는 않아요..찾은 데이터를 이력_테이블(1)로 loop insert문을 이용하여 복사한다.복사가 끝난 후, 완전히 필요가 없어진 데이터를 찾기 위해 1번 커서를 한 번 더 실행한다.커서가 가지고 있는 각 행의 유니크키를 이용하여 테이블(1)에서 loop delete문을 실행하여 삭제한다.이런데요..테이블 200개가 있으면 1~4번을 200회 반복하고 있어요..매일 실행되는 데 12시간 가까이 걸린다고 개선을 요구하는 상황인데 어디를 손 보는 게 속도 개선에 가장 도움이 될까요?어디서 주워 듣기로는 delete를 한 행씩 loop로 돌리면 늦어진다는 소리를 들은 것 같은데 4번이 문제일까요?

Clickin · Answer

일단 각 sql을 뽑아서 실행계획 확인해보는거부터 시작하셔야합니다delete가 문제인지도 그 과정에서 확인하실 수 있을거고요

장독깨기 · Answer

흠.. 이걸 왜 커서로 돌리면서 하는지 모르겠군요.insert into 이력테이블 select * from 대상테이블 where 조건.delete 대상태이블 where 조건.일케 쿼리 두번 날리면 될거 같은데요.

기분좋은코드 · Answer

테이블 인덱스 현황과 데이터 볼륨을 확인해봐야겠지만,만일, 200개의 테이블을 순차적으로 위의 작업을 반복한다면충분히 작업 시간이 12시간이 소요될 수도 있을 것 같네요그리고, 매번 delete로 데이터를 제거하는 건 굉장히 비효율적으로 보여집니다.데이터 볼륨이 크고, 인덱스가 많다면 처리 시간이 많이 느려질 수 있습니다.가능하다면 파티션 테이블을 활용하는 방안을 추천 드립니다.

goodcera · Answer

12시간 걸리는거 보니 loop 돌리면서 데이터의 수만큼 insert, delete 수행하나 본데요?장독깨기님 말씀대로 하시면 될듯 합니다

Gibson USA · Answer

테이블을 순회하면서 시효가 만료된 데이터를 이력을 남기고 지우는 작업이군요일단 커서에 패치하는 쿼리를 보니까 대강이지만 인덱스와 데이터가 상대적으로 많을 꺼 같에요.테이블과 인덱스에 따라 1번 쿼리가 Insert/Delete보다 느릴 수 있어요.저 코드를 통으로 고치기 보다는 데이터가 많고 엑세스가 빈번한 &#61; 쉽게 렉이 자주 걸릴 만한 테이블을 먼저 몇 개 골라서 쿼리를 굴려보세요.같은 쿼리로 사정이 제각각인 테이블을 순회시키면 꼭 느려지는 것들이 몇개 나오고 거기에서 시간이 다 잡아먹힙니다.두번째로 Insert/Delete는 트랜잭션에 따라 락을 얻어야 하고 인덱스 트리를 수정하게 되면서 부하가 걸리는 작업이에요그걸 유니크 스캔으로 다가가니까 당연히 느리겠죠. 조건을 범위를 특정해 넣어 줄 수 있다면 그렇게 하는 게 시간이 조금 덜 걸리긴 할 껍니다.한편 Undo를 남기지 않는 insert/delete를 생각해볼 수 있는데Insert야 비우고 다시 넣으면 되는데 Delete를 Undo 없이 하기는 좀 그렇죠.가능하면 저런 작업은 프로시저보다는 그냥 Java에서 리스트 받아서 벌크 인서트로 넣어보고 예외 않터지면 Delete수행으로 넘어가게 하는 게무난할 꺼 같기도 하고요.저도 1번부터 어떤 테이블이나 상황에서 특히 문제가 되는 지 한번 봐보시는 거 추천드려요.저거 만들 때는 현 설계에서 별 문제가 없었을 것이고, 운영 기간이 쌓이면서 문제가 생긴 사례일 꺼에요. 그렇다면 조회 부분을 간과하면 안되요.파티션 테이블 이야기도 나오는데 그건 이런 케이스에 적용하기 좋은 면도 있지만거기에 맞춰서 큰 결심이 필요 할 수 있어요. DBA 한테 물어보고 같이 결론 낸 게 아닌 이상 조금 이르게 파티셔닝 합시다! 하면 한소리 들을 수 있을 거 같에서말씀드려요.

매일 실행되는 배치(PL/SQL) 속도를 개선해야 하는데 좋은 방법이 있을 까요?

5개의 답변

Q&A 목록