배치 insert 성능

Question

회사에서 정산 배치를 사용하는데 보통 2만건 수행하는데 얼마나 시간이 소용되는게 정상일까요.. 외부API 조회 후 insert 작업을 하는데 2만건 치는데 몇십분? 한 20~30분걸리는데 너무 느린건지 보통인지 다른 곳에선 이런 작업을 안해봐서 어느정도인지 가늠이 안가네요..배치는 spring batch를 사용하고 DB는 오라클19c를 사용합니다. mybatis를 쓰고 API 통으로 조회 후에 건바이건으로 insert를치는 상황인데 보통 이정도 시간이 소요되는게 맞을까요?

adduci · Accepted Answer

DB까지 왔다갔다 하는 비용이 쌓이면 크죠ㅎㅎ한가지 성능 개선법은 병렬 처리를 하는것도 방법입니다리스트를 반복하면서 한건 db서버에 쿼리 보내고 응답받고 또 다음 건 쿼리 보내고 응답받고 하면 쿼리 1회 실행시간×insert횟수 만큼 걸리겠죠DB서버의 코어 갯수만큼 커넥션 풀 사이즈 설정하고 실제 작업을 처리할 스레드 풀 사이즈도 동일하게 설정하면 성능 좀 나올거에요Stream&#43;CompletableFuture 조합으로 구현하시면 됩니다청크 기반으로 데이터를 읽어올 수 있다면 스프링 배치 자체의 기능만으로도 병렬실행 할 수 있으니 참고하세요~

수다벅스 · Answer

통으로 조회 후 건바이건으로 inaert치지마시고 서비스에서 리스트담아서 insert select로 한번에 넣으시는게 속도면에서는 낫지않을까요??

쿠잉 · Answer

건바이건으로 insert 를치는 상황인데 <&#61;&#61;이것이 문제입니다.한번에 하세요 그리고 loop 로 건바이건으로 insert 하더라도 배치 커밋이라도 하세요2만건에 대해서 1건 입력하고 커밋하고 이러면 답이 없습니다.

배치 insert 성능

3개의 답변

Q&A 목록