[Python, Web] form data로 파일을 받아서 데이터베이스에 저장할때 pandas 사용이 적절한가?

Question

안녕하세요. Python 으로 웹서비스를 구현할때(Django, Flask, FastAPI 등..) input 데이터로 file을 받아서 그 내용을 읽어서database 저장하려고 합니다. 이때 file을 읽을때 pandas.read_csv / pandas.read_excel 등을 사용해서dataframe을 dictionary 혹은 object list로 해서 sqlalchemy 로 crud를 하려고합니다. 어떻게 보면 중간에 pandas 라이브러리를 거치는게 되는데,이렇게 해도 performance 측면에서 크게 나빠지는게 있을까요? 혹시 실서비스 하시는 분들은 엑셀 input handling 할때 어떤 라이브러리를 쓰시나요? 긴글 읽어주셔서 감사합니다!

pyzza · Accepted Answer

pandas의 read_csv, read_excel로 읽은 데이터는 메모리에 저장되므로 데이터 용량, 요청 빈도 등을 고려하셔야 할 것 같습니다.추가적으로 pandas.DataFrame.to_sql을 사용하면 dataframe을 형변환 없이 데이터베이스에 저장할 수 있습니다.

[Python, Web] form data로 파일을 받아서 데이터베이스에 저장할때 pandas 사용이 적절한가?

1개의 답변

#multipart 목록