JAVA 100만건 이상 대용량 엑셀 다운로드 질문

Question

안녕하세요.대용량 엑셀 다운로드를 위해 SXSSFWorkbook 방식으로 OOM이 나지 않게 하였으나50 ~ 100만건 대용량을 데이터를 엑셀로 다운로드 받을 때 속도는 기술적으로 한계인것일까 궁금해서 질문드립니다.물론 엑셀이 1,048,576 행이 한계인 것은 알고 있습니다.105만건 이상부터는 sheet를 나누려고도 생각중이나 속도 이슈가 나서 아직 진행하지 않고 있습니다.Table의 컬럼 갯수가 많아질 수록 대용량이 더 느린것도 알고 있는데 쿼리속도는 이슈없다는 가정하에현재기술로는 힘든 부분일까요?

인성 절구로 빻음 · Answer

네트워크의 속도가 올라가야지만 엑셀 다운로드 속도를 향상 시킬 수 있습니다

초무쿤 · Answer

보통 그장도 데이터 파일은 cvs, fld 등 텍스트 파일로 내려요. 100만건을 액셀파일로 내리는 경우가 없을듯(열리지도 않을거 같은데용)

yeori · Answer

딱 봐도 사람이 보려는게 아닌듯한데,그런 무지막지한 파일을 어떤 맥락에서 사용하는지 자세히 설명하시면 대응 방법도 나옵니다.

캐티 · Answer

음 .. 흠결이 있는 라이브러리는 OOM을 피할 수 없을 것이어요.커스텀 라이브러리를 만드는 것이 좋지 않겠나요.100만건을 모두 메모리에 올려야 하는 것은 아니고 시트의 행들을 스트리밍 방식으로 출력하면 모든 데이터를 메모리에 올리지 않고 처리할 수 있어요.

xml개발자 · Answer

행의 개수가 문제가 아니라, 엑셀의 용량이 문제입니다...단순히 0,1,2,3,4같은 데이터라면 그게 100만건이든 1000만건이든 추출시간은 오래 걸리지 않습니다.하지만, 엑셀 추출할 때 CLOB이나 LONGTEXT같은 레코드의 용량이 많은 경우는 DB에서 추출하는 시간도(네트워크) 서버에서 가공하는 시간도 오래걸리지요...

토끼왕 · Answer

병렬처리 하시면 좋습니다. 스트림으로 한줄씩 읽어와 또 다른 스트림의 소스에 피드해주시고 두번째 스트림은 컴퓨팅 파워에따라 몇건까지 페럴리즘하게 처리할건지 커스텀하셔서 처리하면 될듯 싶어요. 여기에 데이터프레임 분석이나 데이터처리 하시려면 스파크같은 분산 컴퓨팅 솔류션을 사용하시고 서비스간 대용량 데이터 통신이 그 뒤에 일어나야한다면 카프카같은 분산형 메세징 서비스 사용하시면 괜찮을 것 같습니다.

pjhplayer · Answer

위에 대부분 답변이 나오긴 했지만. 추가 하자면중복실행 방지, 동시 생성 갯수 제한, 비동기 처리, 서비스외 별도 서버로 구현 하는 걸 추천 드려요. 잘못하면 메모리 문제로 서버 죽어요.

ansdbduf · Answer

Xlsx파일을 zip파일 확장자로 바꿔 압축을 풀어보면 XML파일로 구성되어있습니다. POI가 어떤 xml파서를 사용할까여?SXSSFWorkbook는 SAX 파서를 사용할것으로 추측됩니다. DOM 파서와 같은 메모리에 한꺼번에 적재하는 방식과는 다르게 SAX 파서와 같은 이벤트 드리븐 모델은 메모리를 적게 쓰는 대신 CPU가 고생하겠죠. 즉 느려짐. SXSSFWorkbook가 이벤트 기반이라면 db에서 조회하는것도 이벤트기반으로 jdbc cursor단위( resultset.next) load즉시 엑셀행 write 및 Jdbc fetch size를 조절해보세요.

테스트맨 · Answer

100만건 받는데 얼마 안걸립니다.. 끽해야 몇백메가 일텐데..

JAVA 100만건 이상 대용량 엑셀 다운로드 질문

9개의 답변

#poi 목록