LOAD DATA INFILE 속도

Question

안녕하세요. 오라클->마리아DB 대용량 데이터 이관을 준비하고 있어 문의드립니다. 4억건정도로 약 40GB정도 되는데요.50만건(85MB)정도 되는 데이터로 테스트해보고 있는데, 아래와 같이 text 파일로 생성하는 것 까지는 약20초정도로 소요하며 잘 처리가 됩니다.SET ECHO OFFSET HEADING OFFSET PAGESIZE 0SET TRIMSPOOL ONSET COLSEP '|'SET LINESIZE 200SET TERMOUT OFFSET FEEDBACK OFFSPOOL /ORCL/test.txt;SELECT A|| '|' ||B|| '|' ||C|| '|' ||D|| '|' ||E|| '|' ||F|| '|' ||G|| '|' ||H|| '|' ||I|| '|' ||J|| '|' ||K|| '|' ||L|| '|' ||M|| '|' ||N|| '|' ||O|| '|' ||P|| '|' ||Q|| '|' ||R|| '|' ||SFROM TEST;SPOOL OFF;QUIT; 그런데 LOCAL DATA INFILE 명령을 이용하여 50만건의 데이터를 입력하면 7분정도의 시간이 걸리는데요.. LOAD DATA LOCAL INFILE 'C:/Users/user/Desktop/test.txt'REPLACE INTO TABLE &#96;TEST&#96;.&#96;TEST&#96;CHARACTER SET UTF8COLUMNS TERMINATED BY '|'LINES TERMINATED BY '
'(A,B,C,D,&#64;E,F,G,H,I,J,K,L,M,N,O,P,Q,R,&#64;S)SET S &#61; if(&#64;S&#61;'', NULL, &#64;S), E &#61; if(&#64;E&#61;'', NULL, &#64;E); 아래 세줄은 E와 S가 INT값인데 널값이 들어가 있어 에러가 발생하여 추가한 것인데요.SQL_MODE 를 수정하면 INT값이 NULL가능하게 된다고하여 수정한 후 테스트할 때는 2~5분정도가 소요되었습니다. 편차가 너무 크고 오래걸리는데요...50만건(85MB)에 2~5분 걸리는게 맞는건가요...? 4억건을 하려면 엄청난 시간이 걸릴 것 같은데... ㅠ 더 시간을 적게할 수 있는 방법이 있을까요..?답변 부탁드립니다..

LOAD DATA INFILE 속도

0개의 답변

#load 목록