파이썬 스크래핑 병렬처리중 정해진범위값 실행전 프로그램이 끝나는데 그 이유가 궁금합니다.

Question

제가 스포츠 사이트에서 웹페이지내 src 값 기반으로 선수 사진,기록들만 단일 프로세스로 스크래핑을 하던중 src값이 중간에 넓은 범위동안 존재하지않고 전체 범위가 십만단위여서 속도를 향상시키고자 병렬처리로 다시 코드를 짰습니다. 그래서 Pool을 사용하여 프로세스를 4개 할당하고 실행시키니 200정도 까지 파다가 아무 오류 없이 종료가 되었습니다. 디버깅시에도 정상종료되었다는 exit(1)이 뜹니다. 고민하던중 생각없이 &#34;CPU가 6코어인 amd 2600 이니깐 그냥 6개 할당해주자&#34; 싶어서 프로세스를 6개 할당해주니 현재 6000대까지 무리없이 실행되는중입니다.그래서 왜 4개일땐 아무 오류없이 프로그램이 꺼지는데 6개일땐 잘되는지 궁금하여 글 남깁니다.실행환경은 win10, inteli J , python 3.7 입니다. if __name__ &#61;&#61; '__main__': with multiprocessing.Pool(6) as ScrapingNleague: tasks&#61;[ScrapingNleague.apply_async(func&#61;scrapingPlayer,args&#61;(i,))for i in range(999999)]

파이썬 스크래핑 병렬처리중 정해진범위값 실행전 프로그램이 끝나는데 그 이유가 궁금합니다.

0개의 답변

Q&A 목록