SQL SERVER 마이바티스 쿼리 매개변수 2100개 제한을 풀 수 있나요?

Question

안녕하세요. 기존 프로젝트에 엑셀 파일을 업로드하면 엑셀 파일의 데이터를 읽어들여 DB에 저장하는 요청을 수행하는 서비스가 있는데요. 간단하게 설명드리자면, 엑셀 시트의 한 줄을 DB의 테이블에 하나의 인스턴스(한 행)로 반복문을 돌려서 INSERT를 수행하는 방식입니다. 문제는, 최초 개발 당시, 사용자가 데이터를 그렇게까지 많이 넣을 거라고 예상을 안 해서 엑셀시트에 데이터가 500줄 정도가 넘어가면 웹 서버(톰캣)가 뻗어버리는 일이 종종 발생한다는 겁니다. 에러 로그를 확인해보니, 엑셀 한 줄에 insert 문 한 번을 반복문으로 DB 커넥션이 수 백번 연결되었다 끊겼다를 반복하면서 JDBC 쪽에서 메모리 부족으로 에러를 뱉어냈습니다. 어떻게 해결할까 하다가, 저는 ORACLE을 주로 만지다보니 몰랐는데, MS SQL 즉, SQL SERVER는 INSERT 문의 다중 INSERT가 상당히 간단명료하게 되더라구요? INSERT INTO [테이블명]VALUES (값1, 값2, 값3, ...), (값1, 값2, 값3, ...), ... 단순히 이렇게 하면 하나의 쿼리로 한번에 여러줄이 테이블에 삽입되더라구요. 다른 DBMS보다 깔끔해서 인상적이었고, 기존에 마이바티스를 이용해 쿼리가 매핑된 xml 파일에 forEach로 돌려버리면 쿼리 한방에 되겠다 싶더라구요. 그랬더니, 이번에는 SQL SERVER에서 하나의 쿼리에 매개변수는 2100개를 넘을 수 없다고 에러를 뱉어버리네요. (prepareStatement 방식으로, 하나의 쿼리에 ${}가 2100개를 넘을 수 없는 듯) ... 이건 또 당황스럽게 하네요... 일단, 마이바티스에서 ${} 대신 #{} 을 쓰는 방법이 있는데, 이거는 개인적으로 다들 권장하지 않는 방법이고 저도 동의하므로 하고 싶지 않습니다. 두 번째로는 엑셀 시트에 읽어들인 데이터를 50줄 혹은 100줄씩, 이런 식으로 끊어서 하는 방법이 있는데, 가능은 한데, 이미 엑셀 시트의 데이터를 읽는 과정에서의 예외처리 때문에 이거까지 하면 소스가 엄청 지저분해지더군요. (...이미 IF와 FOR로 범벅된 소스에 다시 IF와 FOR문으로 덮어 씌워버리니까 너무 소스 꼬라지가 영... 그냥 제가 생각하기 싫었던 건지 모르겠지만, 어쨌든 그렇습니다.) 그래서 SQL SERVER 자체적으로 매개변수 2100개 제한을 푸는 방법이 있나 한번 여쭤봅니다.

파랭이 · Answer

BULK INSERT 방법을 사용하는 건 어떨가요?

NOZ · Answer

파랭이아, BULK INSERT도 처음에는 고려를 했었습니다. 그런데, 그거는 DB에서 파일을 바로 읽어들이는 방식이라, 사용자가 업로드한 엑셀 파일에 문제가 있을 경우에 대한 예외처리를 하기가 어렵다는 점에서 제외했습니다. 엑셀 시트에서 읽어들인 값이 이상하거나 Null이거나 수식이거나 등등의 경우일 때의 예외처리를 검색해봤지만, 기본 문법 예제만 나왔이고 그런 얘기는 없더라구요. 게다가 쿼리로 예외처리하다가 오히려 속도가 많이 느려질까봐 걱정되기도 하구요.

아마불편러 · Answer

저라면 일반적으로 해당 기능은 mybatis를 통한 batch 처리를 고려할것 같은데DBMS 내부 기능을 활용하시려는 이유가 있을까요?한번에 등록되는 데이터가 2천개가 넘더라도 데이터가 단순하면 느리지 않을것 같은데요

NOZ · Answer

아마불편러그 이유는 간단합니다. 해본 적이 없어서 떠올리지 못했을 뿐... (..) 근데, batch 처리하면 기존에 있던 다른 쿼리들도 다 batch 처리되지 않나요? 그건 좀... 괜찮은지 검토가 필요할 것 같습니다만...

SQL SERVER 마이바티스 쿼리 매개변수 2100개 제한을 풀 수 있나요?

4개의 답변

#sqlserver 목록