대용량 엑셀 다운로드 질문드립니다.

Question

안녕하세요. 대용량 엑셀 다운로드 관련하여 질문드립니다.70만건 정도 되는 데이터를 조회 후 엑셀로 만들어서 다운로드하는 기능을 개발하려고 합니다.Spring Boot로 개발하고 있습니다.현재 아래 두 가지 방법으로 테스트를 했습니다.Apache POI - SXSSFdhatim/fastexcel둘 다 테스트해 본 결과 데이터를 부분적으로 메모리에 올려서 엑셀로 만들기 때문에 OOM 에러는 나지 않지만결국 엑셀이 전부 만들어져야 클라이언트에서 다운로드가 시작되더군요.엑셀을 만들면서 다운로드하여 속도를 개선 시킬 수 있는 방법이 있을까요?

인딥개발자 · Answer

https://techblog.woowahan.com/2698/이 글 한번 보셨을까요?내용만 보면 1000만 건 다운로드에 16.429초를 사용한다고 하는데

자바개발자특 · Answer

음.. 저도 대용량 엑셀 다운로드를 모듈로 직접 구현해서 사용해본 경험이 있는데요.SXSSF 기반으로 만들었습니다.저는 대략 100만건 ~ 300만건 데이터를 다운받는데 10초 내 받아졌습니다.얼마나 오래걸리시는지는 잘 모르겠습니다.가장중요한건 메모리관리와 데이터 흐름이 가장 중점입니다.

전뚱이인데요 · Answer

아마 2가지 요인때문에 오래 걸리는거 같은데70만건 데이터 db에서 읽기70만건 데이터 엑셀에 쓰기결국 둘다 I/O 읽고 쓰기 때문에 오래 걸리는거네요그런데 oom 안난다고 하셨는데 70만건이면 메모리 부담 많이 되는 작업이고동시에 여러명이 엑셀 다운로드 한다고 하면 70만건 * n 건의 요청으로 생각하시면 oom 이 안난다고 가정할 순없습니다.가장 적은 비용으로 큰 효율을 보기 위해선 쿼리튜닝입니다테이블 인덱싱해서 데이터 조회 속도를 올리세요70만건이면 충분히 부담되는 작업양입니다 배치를 고려해보세요.멀티 스레드로 작업속도를 올려보세요예를 들어 70만건의 데이터라면10만건씩 나눠서 각 작업을 7개의 스레드에게 나눠줍니다.각 task는 10만개의 데이터를 조회 후 엑셀에 쓰기 작업7개의 엑셀 파일이 생기면 알집으로 묶어서 클라이언트에게 반환합니다어처피 70만개 통으로 한개의 엑셀파일로 건네주면 파일도 잘 안열리고 버벅 거려요나눠줘야합니다

HJOW · Answer

클라이언트가 웹이라면 더 간단한 방법이 있습니다.그냥 애시당초 서버에서 엑셀파일 (xls, xlsx) 을 만들지 마시고json 배열로 넘기세요.웹 js (클라이언트) 에서 얘를 받아다가sheetjs 라이브러리 같은얘로 엑셀파일을 만들수가 있습니다. (클라이언트 js로 만들게 됩니다.)물론 얘도, 결국 다 만든 뒤에 다운로드 창을 띄울 수 있지만POI와는 달리,데이터가 다 내려온 뒤에 뜨게 되고 (그래서 빠릅니다.)json 배열을 여러 회로 나누어 전달한다면, (서버 통신을 여러번 나누어 하면 되죠)진행상황 막대나 % 표현도 가능합니다.

Kyeongrok Kim · Answer

최근에 저도 이 이슈를 겪었는데요 Heap이 많이 차서 메모리 효율적이지 않아서 오래 걸렸었습니다.Apache POI - SXSSF 로 했었구요핵심 로직은sheet.flushRows();이걸 써서 명시적으로 Heap을 비워주어야 메모리 효율적입니다. 이 처리를 하고 2분 30초 걸리거나 서버가 죽던게 13초로 줄었습니다. 하드웨어 스펙이 0.5Core에 1GB램 쓰는 컨테이너에서 10만건 기준 13초였습니다.public SXSSFWorkbook make(String sheetName, List columnNames, List datas, int adjustedHour) { int rowCnt = 0; this.sheet = workbook.createSheet(sheetName); // 메모리에 유지할 행 수를 줄임 sheet.setRandomAccessWindowSize(100); // Header Row 만들기 Row headerRow = sheet.createRow(rowCnt++); for (int i = 0; i < columnNames.size(); i++) { headerRow.createCell(i).setCellValue(columnNames.get(i)); } // callback호출로 cell추가 하기 int cnt = 0; for (MonitoringExcelDto dto : datas) { Row row = sheet.createRow(rowCnt++); addCellsCallback(row, dto, adjustedHour); if (++cnt % 1000 == 0) { // 로깅 주기를 줄임 log.info("[EXCEL_DOWNLOAD] {} rows are made", cnt); // 명시적으로 GC 힌트를 줌 try { sheet.flushRows(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); throw new AppException(ErrorCode.IO_EXCEPTION, "엑셀 파일 생성 중 오류가 발생했습니다."); } } } return workbook; }

대용량 엑셀 다운로드 질문드립니다.

5개의 답변

Q&A 목록