대용량파일 INSERT 문의

Question

안녕하세요.서버내에 xml파일이 100만건 정도있습니다.(데이터로우당 1개의 xml파일)이 파일들을 자바 스케쥴러를 돌면서 xml내에 데이터를 추출하여 DB에 INSERT를 하고있습니다근데 데이터가 많다보니 Too many open files라는 에러가 생기는데limits.conf에서 설정을 바꾸는거 말고는 다른방법이 있을까요?

캐티 · Answer

한번에 많은 파일을 열어둘 수 없을 것 같습니다.하나씩 열어서 처리하지 않았나요.또는 사용한 파일 핸들을 닫지 않은 경우이지 않겠나요.

초무쿤 · Answer

Xml파일 읽고 close 않하신듯

한안아 · Answer

파일 열고 메모리에 배열에 저장하면서, 계속 클로즈 해야합니다.1행당 1인서트 하지말고, 배치고 1000 개씩하면 금방 끝나요

대용량파일 INSERT 문의

3개의 답변

기술 목록