파이썬 pandas의 DataFrame 보다 성능이 좋은 데이터테이블 객체 없을까요?

Question

안녕하세요파이썬 초보입니다파이썬을 공부할 겸 해서 파이썬으로 공공 API를 이용해서 데이터를 받아오는걸 구현하고 있습니다.데이터 항목이 여러가지라서 데이터 마다 컬럼 수와 이름이 가변적이라어쩔수 없이 for문을 이용해서 pandas의 DataFrame객체를 이용해서for col in df.columns.values: df.at[RowCnt, col] &#61; row.find(col).text이런 식으로 데이터를 받아오고 있습니다.문제는 한 데이터 항목의 row 수가 1만을 넘어가면서부터 데이터 수집 속도가 매우 느려집니다이유를 찾아보니 아무래도 1만 이상되는 DataFrame 객체가 계속 append를 하게 되면서 인덱싱이 느려지는게 아닌가 하는 생각을 하게 됩니다1만~10만 이상의 데이터도 순차적으로 차곡차곡 쌓기에 성능이 좋은 객체나 방법이 없을까요?파이썬 초보자에게 도움 부탁 드립니다 ㅜ감사합니다!

파이썬 pandas의 DataFrame 보다 성능이 좋은 데이터테이블 객체 없을까요?

0개의 답변

Q&A 목록