엑셀 데이터 50만건 읽어서 DB INSERT

Question

엑셀 데이터를 읽어서 DB에 인서트를 하려고 합니다. 약 50만건의 데이터를 입력해야하는데 일단 여태까지 시도한 방법으로는 아래외 같습니다.50만건 읽어서 리스트로 for문 돌려서 insert(서버가 아예 죽어버림)인덱스나 pk를 설정하지 않은 더미테이블을 만들어서 더미테이블에 넣고 그 테이블을 복사해서 넣기(이 방법또한 서버가 버티질 못함)5000건씩 끊어서 세션타입을 배치로 하여 insert(되기는 하지만 3분정도 걸림)면접볼때 이 이야기를 했는데 제 방법이 잘못되었고 다른 방법을 이야기 해주셨는데 긴장을 해서 그런지 들었던 방법을 새하얗게 까먹어버렸습니다.어떤 방법이 있을까요? 도움 부탁드립니다!

cryingSpamMan · Answer

파일을 쪼개서 업로드?

GDB · Answer

50만건이면 WEB 에서 처리할건 아니고 배치를 통해 해야하지 않을까요?WEB 엑셀 업로드 -> S3 엑셀 저장 -> Que ( Kafuka , redis ) -> Que 처리 -> 배치 작동 (chunk 단위)-> 사용자에게 알림뭐 이런순서 아닐까요

catcode · Answer

DB별로 DBMS에서 지원하는 대량 데이터 가져오는 방식이 있어서 그걸 토대로 가져올듯 합니다

HJOW · Answer

컬럼이 얼마나 되고 셀 크기가 얼마나 되는지는 모르겠지만,50만건 정도의 엑셀 파일을 자바로 한번에 읽으려 하면, 다 읽기도 전에 훅 갑니다.전송 하기도 전에 갑니다.(뭐 메모리 할당을 아예 확 크게 해놓으면 버티긴 합니다. 그걸 여러명이 동시에 사용하면 훅 가시는 건 똑같습니다.)엑셀 데이터 생각보다 메모리 점유량 높습니다. 사실 이게 근본적인 원인입니다. 엑셀 데이터 자체가 메모리 사용량이 커서.한번에 읽으려 하면 안됩니다.그래서이 문제를 여러 사람들이 다 겪고 있기 때문에글들 찾아보면 꽤 있습니다.https://d2.naver.com/helloworld/9423440https://iamreo.tistory.com/entry/apache-poi-%EB%A9%94%EB%AA%A8%EB%A6%AC-%ED%95%B4%EA%B2%B0%EC%9D%84-%EC%9C%84%ED%95%9C-%ED%8C%81-StreamingReader위 네이버쪽 해결방법은 서버에서 파일을 읽지 않고, 프론트 (사용자 웹 브라우저) 에서 읽어서 처리하고 보내는 기법입니다.아래 티스토리글은, 어떻게든 서버에서 파일을 읽되, 부분부분 잘라서 읽는 걸 지원하는 라이브러리를 쓰는 방법입니다.

도니코니 · Answer

보통 대량데이터를 한번에 넣는거는 DBMS로 처리를하져

Unknown_ · Answer

1번 방식 작업하면서 만 건 단위로 list 객체 재할당 시켜주면 초기화 됨미다.예전에 최대 데이터 수량 1000만건, 멀티 쓰레드 최대 10개 분할해서 동작하게 만들었던 거 같아서요,,,

오리구이 · Answer

1.웹에서 50만건 파일 업로드 처리(웹에서는 처리완료)2.업로드 이후 자바 배치에서 파일을 읽어서 처리3.천건 또는 만건 씩 커밋 처리 (자바에서 50만건을 파일을 읽는거 자체가 엄청난 메모리를 먹는거임. 따라서 저녁배치로 실행 하던지 배치서버를 별도로 두고 배치서버에서 실행)또는 db sql cli 로 처리4.웹에서 처리조회

adkb · Answer

3번이 좋은데요?다만 여러 쓰레드에서 돌릴려면 삽입에 대한 일관성을 보장해야하기때문에 (~race condition 방지)락이 필요할듯합니다~

Ganymede Ganymedian · Answer

정답은 아니겠지만 제가 해온 작업은,대용량 파일을 지원하는 텍스트 에디터로 엑셀 파일을 텍스트 포맷으로 열고,replace 로, 모든 행을 sql insert 쿼리로 변경해서,dump.sql 로 저장하고,덤프 리스토어 커맨드를 실행합니다.저도 정답이 궁금해지네요.

천사와악마 · Answer

저라면 파일로 떨구고 전용 배치 프로그램한테 전달/수행하는 방향으로 취하겠습니다.

전뚱이인데요 · Answer

일단 데이터 50만건이 어떤 데이터 인지 다시 재 질문을 하셔야 했어야 합니다실시간으로 처리해야하는 데이터 인지 (채팅 데이터, 구매 이력 데이터 등)아니면 정교하게 처리해야하는 데이터 인지 (상품 정산 데이터...)실시간 처리는 대표적인 예는 카프카 있겠네요정교한 데이터 처리는 spring batch 를 사용하는 방법이 있구요 데이터 50만건을 초 단위로 처리 해야하는건지 아니면 특정 시간 마다 채워지는 데이터 인지 재질문을 하셔야하구요거기에 맞는 아키텍처를 구성해서 말씀 해주셔야 합니다 초단위 라면 실시간으로 데이터를 처리 하되 여러 레플리카를 두고 해당 레플리카를 어떻게 동기화를 하고 실패한 데이터 처리는 이력만 남길건지 아니면 따로 모아서 재처리를 진행할건지 혹은 멱등성으로 그냥 첨부터 처리 할것인지.. 성능, 안정성 등등 고려해서 어떤 dbms 들을 나열하고 나의 논리적으로 생각으로는 이런 dbms 를 사용하겠다 선택하고 만약에 batch 처리하면 서버 성능을 고려해서 청크 사이즈는 어떻게 정하고 멀티 스레드를 사용할것인지, 사용한다면 멀티스레드 상황에서 주의해야하는 race condition은 어떻게 처리할건지, 트랜잭션을 어떻게 처리할건지 등등.. 이런 이야기로 풀어나가면 좋지 않을까 싶네요

뿜뿜 · Answer

어떤 SQL을 사용하느냐에 따라서 다르지만 MySQL 계열은 LOAD DATA INFILE 방식으로 해서 DB에 다이렉트로 Insert하는 방식인데 700만건도 단 2~3분만에 DB에 저장할 수 있습니다.다만 엑셀 데이터를 csv 형태로 변환해서 적용을 해야된다는 것이구요.

yeori · Answer

스트리밍 방식으로 접근하거나, 파일을 전부 메모리에 올리지 말고 엑셀을 까보는 접근 방식을 원하는 게 아닌가 싶습니다.라이브러리가 있지 않을까 싶은데요

캐티 · Answer

기본기에 여지가 있어도 일반적으로 기초 경험이 중요 하는 여지가 있어요.엑셀에 데이터를 데이터베이스로 밀어넣는데 db가 직접 csv 파일을 읽어서 밀어 넣는 처리가 있는데 프로그래머가 분리를 하여야 하여서 불편한 여지가 있겠쩌. 물론 이거를 대신해주는 툴도 있을 거고 직접 만드는 거도 어려운 거는 아니어요. 이렇다 하더라도 소비자는 엑셀 파일 그대로 특별한 작업이 없으면서 데이터를 넣고 싶겠쩌. 이럼 INSERT INTO를 사용하지만 prepare 예약한 쿼리를 사용하는 방법이 있을 거여요.여기서 autocommit을 꺼버리는 거도 하는거 같은데 간을 보고 사용하면 될거여요. 사실머 어플에서 csv로 슬쩍 변환하여도 될거고요.면접관도 이런이런 .. 괜찮은 방법은 인터넷에 널려 있어서 찾아서 사용하면 선방한다고 얘기를 하지 못하고 다른 방법이 있다며 마치 정답인 마냥 얘기를 해버렸어요. 물론 모든 사람들이 말재주가 있는 거는 아니어서 특별이 비난에 여지는 없는 거이고 일반적으로 문제를 해결하는데 모여서 토픽을 열거나 시간을 쓰기 싫음 인터넷에 전례를 찾아보면 되어요.

xml개발자 · Answer

3번 방법이 가장 무난합니다.그리고 50만건을 3분 동안 넣었으면 속도도 괜찮은 편입니다.경험적으로 엑셀 파일을 그대로 읽으려고 하면 대부분 애플리케이션에서 뻗어버리는 현상이 있습니다.그래서 보통 먼저 csv 파일로 변환하고 insert 작업을 합니다.배치로 5천 건은 좀 많은 편이지만, 문제는 없습니다.저는 보통 100~2000 건 수준으로 넣고 있습니다. DB 환경에 따라 사이즈를 적절히 조절이 필요합니다. (시행착오가 필요하죠)

카스마당 · Answer

엑셀파일 읽기 스트리밍 처리 (50만건 모두 메모리에 올릴 수 없으니) XSSFReader + XSSFSheetXMLHandlerJDBC 처리 시 batchSize=1000 정도 주고 executeBatch() -> commit() 실행int count = 0;int batchSize = 1000;** xlsx 반복 처리 내에 처리if(++count % batchSize == 0){ps.executeBatch();conn.commit();}.... 나머지 처리ps.executeBatch();conn.commit();이 정도면 문제없이 처리 가능해 보입니다.환경에 따라 다르겠지만 제 테스트 환경에서 100만건(10개 컬럼) 처리 시 49초 나오네요.

엑셀 데이터 50만건 읽어서 DB INSERT

16개의 답변

Q&A 목록