대용량 csv mysql db에 저장할때 load infile 질문입니다.

Question

1기가 이상의 데이터를 저장하려고 하다보니1000개단위로끊어서 저장을 하여도 중간 손실되는 데이터가 있고 시간이 오래걸려 찾던중가장 빠른게 csv파일 로딩이라 들어 jdbc 로 load infile을 통해 저장하려는 방법을 시도했습니다.그러나 이 방법또한 구글링에서 사용했을때 개선된 속도와는 다르게 한참 느린속도로 저장됩니다.대기하고 있다가 요청이 들어오면 저장을 실행하는 방식으로 프로그래밍을 하려고 하는데그래도 배치로 하는게 최선일까요??

리오레오 · Answer

손실된 데이터가 있다는 것이 이해가 안되네요.그러면 누가 빅데이터를 신뢰할 수 있을까요.단순한 형태의 1기가밖에 안되는 데이터인데요. 손실되는 원인이 있을 거라고 봅니다. 제 예상으로는 인덱스가 걸려 있는 테이블에 집어 넣는 것으로 보이는데요.그러면 시간이 지날수록 속도가 떨어집니다. 일단 빈 테이블에 인덱스를 삭제하고 집어 넣으시고, 처리가 완료된 뒤에 인덱스를 생성하시면 어느정도의 속도업이 될 듯하네요.

밤과라임 · Answer

&#64;리오레오입력전 list수와 테이블에 입력된 row 수가 다르고동시접속으로 2개의 db서버의 각 테이블의 row수도 다릅니다.인덱스 제거한 후 다시 넣어봐야겠네요. 감사합니다.

대용량 csv mysql db에 저장할때 load infile 질문입니다.

2개의 답변

#load 목록