엑셀업로드 락

Question

1000건의 엑셀 행을 RDB 에 INSERT 하는 로직이 있습니다.이때 1000건을 INSERT 하는 로직은 1개의 트랜잭션으로 묶여있어 테이블을 잡고있는 시간이 길어 락이 자주 발생하고 있습니다.엑셀 업로드용 테이블을 따로 만들었는데도 락이 자주 발생되네요..현재 생각나는거로는 100건씩 트랜잭션을 묶으려고 하는데 이게 또 엑셀업로드 하다가 실패하면 다 롤백되어야지엑셀 파일에 있는 몇 백건은 업로드 되고 실패한건 또 실패되면 사용자입장에서 불편할것같은데 보통 이럴때 어떻게들 해결하시나요?

하루의_spring · Accepted Answer

전제를 하나 두겠습니다 로직이 너무 길어서 이 프로세스를 실행하면 테이블lock 이 30분 걸린다고 가정을 하겠습니다 1. 현재 로직으로 처리하고 있는 부분을 엑셀 양식으로 녹여내는 것이 방법입니다 프로그래밍 언어로 처리했으면 엑셀 함수로도 처리할 수 있습니다 다만 로직이 어떤 테이블의 데이터를 긁어와서 진행을 하는것이라면 해당방법을 쓸 수 가 없겠죠 그게 아니라면 최대한 양식에 녹여내어서 엑셀 -> 데이터 정합성 검사 -> insert 이 로직이 최고입니다 2.insert 시 테이블 락을 시작하는것이 좋습니다 제 말은 가공해서 완벽한 데이터를 가지고 있는 상태에서 insert 를 위한 트랜잭션을 시작하는것이 좋습니다 1000건 정도면 충분히 하나의 프로세스 안에서 가지고 있을 수 있습니다 컬럼이 무지하게 많다면 별 수 없는것입니다 3.트랜잭션이 반드시 all or nothing 전략으로만 가야 하는가 이 부분에 대해서는 충분한 의견뒤에 이 두 전략이 아니라면 끊어서 commit 하고 하는 것도 방법입니다 한가지 좀 이상한 문구는 "엑셀 업로드용 테이블을 따로 만들었는데도 락이 자주 발생되네요.." 이 부분 엑셀 업로드를 위한 전용 테이블을 만들어도 이런 현상이 발생하고 있으면 현재 전체적으로 트랜잭션이 올바르게 관리가 안되고 있을 가능성이 있습니다 그 부분에 대해서도 점검이 필요합니다 위의 사례는 저라면 어떻게 했을까 입니다 작성자님 상황을 잘 모르니 제가 생각하는것에 대해서만 적은거니 참고 또는 다 버리셔도 괜찮습니다

하루의_spring · Answer

1000건이면 .. 단일 테이블이면 그렇게 오래 걸리지 않을것으로 예상되는데 혹시 insert 테이블이 많거나 ? 엑셀 데이터를 가공하는 로직이 있으신지요?1000건에 단일 테이블 재가공없는데 오래 걸리면 문제가 있습니다

병맛나는병 · Answer

인덱스 걸어넣은게 많으신가...

더미 · Answer

엑셀업로드 테이블 1테이블1을 대상으로 가공 테이블1 만드세요.

전뚱이인데요 · Answer

가공로직 따로 insert 로직 따로 로직 분리하면 dblock 시간이 줄어들지 않을까요?단순히 단일테이블에 1000건 insert 만 하는건 오래 걸려보이진 않아보여요환경은 어떤지 모르지만 mybatis 경우에는 bulk insert 도 있습니다 ~ 1건당 db 커넥션을 갖는게 아니라한번 커넥션으로 1000건을 insert 하는 방식으로요아니면 디비 서버가 너무 느리거나요..?여러 방면으로 다양한 시각으로 확인을 해보셔야 할거같습니다 왜냐면 1000건 DB 인서트는 그렇게 오래 걸리진 않걸랑요

엑셀업로드 락

5개의 답변

#transaction 목록