데이터 60,000건 batch insert 관련

Question

안녕하세요 한 가지 질문이있어서 글을 남깁니다.현재 마리아디비의 뷰테이블 6개에서 데이터를 10,000건 씩 select 해서 총 60,000건의 데이터를 티베로에 insert 를 하는 테스트를 해봤는데, 속도 이슈가 있습니다처음에는 조회 대상 테이블에 데이터가 많지 않을 것 같아서 조회 후 connection을 insert 할 때 매번 생성해서 넣어주는 방식으로 구현했는데, 데이터가 꽤 많을 수도 있다고 해서, 구글링을 해보니 iBatis에서 지원하는 batch insert 기능이있어서 활용 해봤습니다.우선 한 건씩 insert 했을 때는 60,000건의 데이터를 insert하는데 178초가 걸렸고, batch insert로 바꾸고 나서는 152초가 소요됩니다. 하지만 제 생각에는 여전히 느리다고 생각이 들어서 질문을 남깁니다.소스코드는 다음과 같습니다.클라이언트 소스코드MyCloudJobServiceImpl.class . . . @Override public void insertIfCloudPodList(List> list) throws NkiaException { myCloudDAO.truncateIfCloudPod(); try { myCloudDAO.insertIfCloudPod(list); } catch(Exception e) { logger.error(e.getMessage()); } }서버 소스코드MyCloudDAO.class public void insertIfCloudPod(List> list) { getSqlMapClientTemplate().execute(new SqlMapClientCallback() { @Override public Object doInSqlMapClient(SqlMapExecutor executor) throws SQLException { int result = 0; executor.startBatch(); for(int i = 0; i < list.size(); i++) { insert("MyCloudJobDAO.insertIfCloudPod", list.get(i)); result++; if(i % 100 == 0) { executor.executeBatch(); executor.startBatch(); } } executor.executeBatch(); return result; } }); }배치 사이즈를 100, 1000, 5000 등 으로 변경하면서 해봐도 큰 차이가 없더군요 ...한 티스토리 게시글에서 트랜잭션이 걸려있어야 한다고 하는데, 현재 MyCloudJobServiceImpl.class 에 AOP pointcut으로 트랜잭션이 걸려있는 상태입니다.답변 부탁드립니다!

Clickin · Answer

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=hsohui&logNo=220996920557해당 블로그 글처럼 트랜잭션을 해당 메소드만 따로 관리해보면 어떤 결과가 나오나요?

양반후반 · Answer

if문 안에 있는 executor.startBatch(); 를 제거 해보세요.

kkey21a · Answer

JDBC option 관련해서 찾아보세요.mysql은 다른 rdb와 조금 차이가 있더라구요.

초무쿤 · Answer

요즘에는 성능이 워낙 좋아져서 jsbc batch insert로는 드라마틱한 성능향상을 기대하기 어렵습니다.Mybatis이시면 SQL의 bulk insert를 한번 고랴해보심이.Insert … values (…),(…),…….(…);Ps. SQL문 사이즈에 제한이 있으니 참고하세용

데이터 60,000건 batch insert 관련

4개의 답변

Q&A 목록