대량 insert 또는 update시 transaction이 느려지는 현상

Question

안녕하세요.대량의 insert, update 를 한 트랜잭션에서 실행하려고 할때 트랜잭션이 점점 느려지는 이유가 어떤것 때문일까요?예를들어 10만건의 데이터를 단순 반복으로 insert 한다고 했을때처음에는 속도가 빨랐는데 시간이 지날수록 속도가 느려지는 현상이 발생합니다.중간중간 커밋한다고 해도 느려지는 현상은 여전합니다.해당 현상이 발생하는 원인이 무었일까요?쿼리 하나하나의 속도는 잘 나옵니다.이것저것 찾아보고 있기는 한데 답을 찾기가 어렵네요.... 어떤방식으로 접근 해야할지 조언 부탁드립니다.

Clickin · Answer

executeBatch를 사용하는 배치 인서트로 처리하고계신지 알아봐야겠습니다.중간중간 커밋하더라도 executeUpdate는 개별 트랜잭션이 구분되기 때문에 대량 데이터에서는 느려질 수밖에 없습니다.

kenu,전독시 · Answer

tx 걸리면, 속도 >>> 넘사벽 >>> ACID 의 반대의 상황이죠.DBA가 있다면 그 분과 함께 고민하시면 좋을 것 같습니다.기대하는 시간이 있으신가요? 10만건이면 10분안에 라던가 하는 기준이 얼마나 되나요?

인성 절구로 빻음 · Answer

index가 과도하게 많이 생성된 테이블인건 아닌가요?하지만 10만건 가지고 느려진다니... 구체적인 수치를 알려주시면 추측을 더 할 수 있을 것 같습니다

MuDaeng · Answer

한 트랜잭션에서 데이터를 insert, update할때, 트랜잭션의 특성때문에 CU된 데이터는 바로 DB에 저장되지 않고, 메모리에 저장됩니다. 그래서, CU된 데이터가 쌓일수록 JVM에서 연산에 사용하는 메모리를 잡아먹어서 속도가 느려지는걸로 알고 있습니다.

대량 insert 또는 update시 transaction이 느려지는 현상

4개의 답변

기술 목록