파이썬 고수님 도와주세요 ㅠ (PANDAS 관련)

Question

안녕하세요파이썬 초보입니다파이썬을 공부할 겸 해서 파이썬으로 공공 API를 이용해서 데이터를 받아오는걸 구현하고 있습니다.데이터 항목이 여러가지라서 데이터 마다 컬럼 수와 이름이 가변적이라어쩔수 없이 for문을 이용해서 pandas의 DataFrame객체를 이용해서for col in df.columns.values: df.at[RowCnt, col] &#61; row.find(col).text이런 식으로 데이터를 받아오고 있습니다.문제는 한 데이터 항목의 row 수가 1만을 넘어가면서부터 데이터 수집 속도가 매우 느려집니다이유를 찾아보니 아무래도 1만 이상되는 DataFrame 객체가 계속 append를 하게 되면서 인덱싱이 느려지는게 아닌가 하는 생각을 하게 됩니다1만~10만 이상의 데이터도 순차적으로 차곡차곡 쌓기에 성능이 좋은 객체나 방법이 없을까요?파이썬 초보자에게 도움 부탁 드립니다 ㅜ감사합니다!

7i · Answer

db에 한번 저장하는건 어떤가요... 혹시..저장하기 위한 과정인가요? 실제 받아오는 데이터를 볼수 있나요....어떤 데이터인지..

뚜비야 · Answer

localdata.kr 에서 제공하는 데이터입니다데이터 항목 마다 csv로 작성하기 위해서 일부러 db 구현을 하지 않았는데db에 쌓아서 데이터 불러온 후에 csv로 작성하는게 더 빠를까요?처음 500개 데이터 저장하는데 8초정도 걸리는데 1만 로우만 넘어가도 거이 10.. 80초 정도 시간이 지연되네요 ㅠㅠ

7i · Answer

음 제가 상황을 잘 몰라서 어떻게 말씀을 못드리겠습니다만 설계의 문제인데 저라면... 디비에 정렬해서 한번 담고 csv작성 바치를 작성해서 만들것 같습니다. 일이 좀 늘어나지만 바치로 하면 크게 두가지 정도 되겠네요 1. api -> db 저장 2. db -> csv 작성

파이썬 고수님 도와주세요 ㅠ (PANDAS 관련)

3개의 답변

Q&A 목록