대용량 데이터 export 관련..

Question

PosgtreSQL 에서 약 100만 행을 가져와 기존 Excel 템플릿(서식 유지)에 데이터를 삽입하는 작업을 하고있습니다.현재는 pandas + pyxlsb로 chunk reading 후 openpyxl 기반으로 스타일이 있는 템플릿에 데이터를 쓰는 방식인데, 처리속도가 느립니다.Excel 스타일을 그대로 유지하면서 데이터를 삽입해야 하는 조건을 만족하는 상황에서, 이보다 좀 더 빠ㅡ게 Excel을 생성할 수 있는 구조나 기술이 있을까요..xlsb/xlsx 저장 방식, pandas-free 접근법, csv> 템플릿 병합 방식 등 어떤방법이 효율적인지 조언 부탁드립니다.

카스마당 · Accepted Answer

DB에서 100만 건 select 시 한 번에 하면 느리고 문제 발생할 수 있습니다.500건~1,000건 정도 페이징으로 읽어 오시고xlsx에 저장 시 스트림 방식으로 처리하는 방법으로 변경하셔야 합니다.반대의 방식랜덤으로 여러 개의 칼럼에 문자, 숫자를 100만 건 생성 후엑셀파일 생성하고, 다시 그 파일을 읽어pgsql에 저장해보니 3~4분 정도 나오더라고요.중요한 내용은DB를 읽거나 쓰기 시 반드 시 페이징 처리파일을 읽거나 쓰기 시 스트림 처리(해당 lib) 사용입니다.

HJOW · Answer

프로젝트 자체가 자동으로 (외부 호출 시 자동 동작) 돌아갈 필요가 없다면MS 엑셀 자체 기능으로 불러오는 게 가장 확실한 방법입니다.MS 엑셀에 "데이터 가져오기" 기능으로 DB 접근해서 데이터 긁어올 수 있습니다.

rarity · Answer

일단 100만 행 이상이면 절대 엑셀포맷 단일파일로 저장하여 사용하면 안됩니다.지원 안됩니다. 데이터는 잘려서 저장됩니다.인덱스로 나눠 저장하세요.서식도 따로 나눠서 저장하시구요.https://support.microsoft.com/en-us/office/excel-specifications-and-limits-1672b34d-7043-467e-8e27-269d656771c3?utm_source=chatgpt.com차라리 페이징 방식으로 데이터를 보여주는게 더 나을수도 있습니다.

오리구이 · Answer

100만행 짜리 엑셀 파일이 존재 할수 있나요??

catcode · Answer

100만행 엑셀 열 때… 아찔하네요노트북 팬 소리 여기까지 들려요

대용량 데이터 export 관련..

5개의 답변

Q&A 목록