Oracle 대량데이터 1000건 단위로 commit 시 중간에 에러가 발생하면 어떻게 처리해야 할까요?

Question

만약에 10000건의 데이터를 commit해야 한다면사용자가 지정한 건 단위로 분리 commit하고,도중 에러가 나면 이전 commit된 건까지 전체 rollback을 해달라는 요구사항이 있는데어떻게 구현을 해야할지 잘 모르겠네요.조언 부탁드립니다.

냉동참치 · Accepted Answer

얼마전에도 비슷한 내용의 질문이 올라온적 있었는데,별도의 밀어넣는 테이블에 1만건을 입력함 > 1만건이 정상적으로 입력되고나면 실제 테이블로 데이터 복사하시면 됩니다. 원테이블에 작업해야한다는 고정관념을 버리시면됨--원테이블 하나로 처리하려면은 exception catch단에서 삭제쿼리 날리는수밖에 없어보입니다.만약 밀어넣기에 insert아니고 update가 포함된다면 위에적은거처럼 별도테이블로 하시는게 맞을듯합니다.

M-170901 · Answer

트랜젝션 검색해보시길 바랍니다.

그만물어봐 · Answer

제목에는 1,000건 이고글내용에는 10,000건인데 맞는건가요?10,000 입력시 내부로직으로 1,000건씩 나눠서 입력? M-170901님 말씀처럼 트랜잭션 관련입니다만일단 10,000건 입력을 1,000건씩 나눠서 commit 찍었다면 발생한 트랜잭션을 종료해버렸기 때문에 rollback 으로 취소가 불가합니다. 내부로직을 바꾸는 방법으로 가야될것 같네요~ 10,000건을 입력시 중간에 오류가 발생하면 rollback오류가 없다면 commit또는별도의 procedure를 만들어서 처리하는 방법도 좋겠네요~또는 transaction을 여러개로 나누기....추천하지 않습니다;;또는commit 자료를 찾아서 delete ... 역시 추천하지 않습니다;;

양반후반 · Answer

커밋 하면 이미 트랜잭션 종료 된겁니다. 롤백이 필요한데 중간에 커밋 한다는게 이상하네요. 1천건 단위로 커밋을 하고 있는 이유를 먼저 알아야 할것 같네요. 그리고 쿼리를 어떻게 실행하고 있는지도 알아야 할것 같구요. 만약 SQL batch로 안 하고 있다면 batch부터 적용을 해야겠네요.

먹자 · Answer

대량 데이터 insert 시 DB 부하 문제로 1000건씩 commit을 해야 한다고 합니다.100000건을 commit 시 1000건씩 끊어서 100번 commit을 해야 하는데중간에 오류가 나면 commit됐던 것도 다 rollback이 되어야 한다고 합니다.제 검색 실력이 부족해서 그런지 이런 경우에 대한 내용은 나오질 않네요. 쿼리실행은 excel import 기능이어서 1000row씩 읽어와서 건바이건으로 commit 할 것 같습니다.

양반후반 · Answer

혹시 쿼리 실행을 어떻게 하고 계신가요? 건단위로 쿼리를 날리고 있는거라면 그것부터 batch로 바꾸셔야겠네요. mybatis batch던 jdbc batch던 말이죠.

카스마당 · Answer

10000 건으로 예를 들자면 처음 1000건 등록시 1번째거 시퀀스값을 별도 테이블에 보관합니다. 간단히 테이블 구조는 2~3개 정도(success_table : 시퀀스, 성공여부(T/F), 일시)1) 1(데이터)에 대해 시퀀스 기록 success_table에 INSERT 시퀀스, 성공여부(F), 일시 등록 -> commit2) 1~1000(데이터), 1001~2000(데이터), 2001~3000(데이터) ...........3) 10000건 등록 이후 success_table에 UPDATE 시퀀스, 성공여부(T), 일시 등록 -> commit 4) 에러면 success_table에 시퀀스 값을 확인하여 이후 스퀀스값 기준으로 등록된 데이터 삭제..이정도면 될것 같은데요..~~

Oracle 대량데이터 1000건 단위로 commit 시 중간에 에러가 발생하면 어떻게 처리해야 할까요?

7개의 답변

Q&A 목록