[Python] Selenium 질문... (feat.멀티프로세싱)

Question

안녕하세요? 선배님들 !!회사에서 데이터 스크래핑 업무를 맡게 되었는데요.궁금한점(사실 심각,,,)이 있어서 질문드리려고 합니다 !!저는 동적인 스크래핑(네이버 지도의 메뉴 데이터)이 필요해서 selenium을 사용합니다.데이터가 100만건 가까이 되기 때문에 프로세스 하나당 데이터 5만건씩 할당해서 처리하려고 했습니다.그런데 !! 코드를 돌려보니... 3일째 완료가 안되더라고요??? ㅠㅠ....cpu온도도 높은편인거 같고... ㄷㄷ;; (회사컴퓨터 고장날까 무섭..ㅠㅠ)어떻게 하면 효율적인 자원으로 빠르게 처리할 수 있을까요??도와주세요 ㅠㅠ 선배님들 !!if __name__ &#61;&#61; &#34;__main__&#34;: start &#61; time.time() pool &#61; multiprocessing.Pool(20) arg_list &#61; [ [0, 50000], [50000, 100000], [100000, 150000], [200000, 250000], [250000, 300000], [300000, 350000], [400000, 450000], [500000, 550000], [600000, 650000], [650000, 700000], [700000, 750000], [750000, 800000], [800000, 850000], [850000, 900000], [900000, 950000], ] # scrape 함수가 동작합니다. (네이버 지도의 메뉴 데이터를 스크래핑 합니다.) pool.map(scrape, arg_list) end &#61; time.time() print(&#34;걸린시간:&#34;, end - start) pool.close() pool.join()

[Python] Selenium 질문... (feat.멀티프로세싱)

0개의 답변

#multiprocessing 목록