bulk insert 할때 중복 된 컬럼 처리 질문 드립니다.

Question

약 40만개의 데이터를 DB에 적재하고 있습니다.dir_name &#61; os.path.basename(dirpath) # 마지막 폴더명 추출# 튜플 리스트 추가DirList.append((dirpath, dir_name))이런식으로 폴더 명과 경로를 리스트에 튜플로 묶어 저장하고 insert합니다.이 상태에서 경로에 대해 중복을 체크하려고 하니 넣을때 마다 이미 들어간 경로들을 전부 일일히 비교하는 건 또 비효율적일거 같아 보입니다.INSERT IGNORE 문으로 해도 중복이 안걸러지는거 같았습니다.글에 두서가 없는 점 죄송합니다. 좋은 방법이 있는지 궁금합니다. 감사합니다.

kenu,전독시 · Answer

메모리가 넉넉하다면, Set으로 필터링한 결과를 DB에 넣는 것도 추천합니다.

bulk insert 할때 중복 된 컬럼 처리 질문 드립니다.

1개의 답변

Q&A 목록