파이썬 멀티프로세싱, 크롤링 도중 에러..정말 모르겠네요

Question

def get_ncbi_info(uid): uid_url &#61; &#34;https://www.ncbi.nlm.nih.gov/assembly/&#34; &#43; assem_accession #print(uid_url, &#34;

&#34;) try: with urllib.request.urlopen(uid_url) as response: html &#61; response.read() soup &#61; BeautifulSoup(html, 'html.parser') seq_tech&#61;assembly_level&#61;genome_rep&#61;assem_method&#61;&#34;&#34; # get assem method print(soup) try: seq_tech &#61; soup.find(&#34;dt&#34;, string&#61;&#34;Sequencing technology: &#34;).findNext(&#34;dd&#34;).string except Exception as e: seq_tech&#61;&#34;&#34; new_dict_item &#61; {&#34;assem_accession&#34;: assem_accession, &#34;sequencing_tech&#34;: seq_tech} return new_dict_item except Exception as e: return &#34;&#34; print(&#34;Request error&#34;) # 요청 에러. 500 에러 if __name__ &#61;&#61; &#34;__main__&#34;: # with Pool(5) as p: print(&#34;ANS&#34;, p.map(get_ncbi_info, uid_list)) #print(&#34;ANSWER&#34; &#43; answer) #print(&#34;main&#34;) print(&#34;DICT LIST&#34;, dict_list) result_df.to_csv(&#34;result.csv&#34;) beautiful Soup으로 호출하는 부분에서 (soup.find) RecursionError('maximum recursion depth exceeded while getting the str of an object') 에러가 발생하는데 도저히 이유를 모르겠네요...그냥 각 프로세스에서 각각의 페이지 정보를 크롤링하는데 왜 recursion에러가 발생하는지ㅠㅠ

Dive_Drink_Develope · Answer

구글 검색어 : beautifulsoup find RecursionError 1 BeautifulSoup uses recursion to find child elements2 Many unclosed tags result in RuntimeError: maximum recursion depth exceeded while calling a Python object 사이트 오류인지 확인해보고 찾는 방식을 좀 수정해보셔야할것같네요 :)페이지 구조가 너무 복잡한거면 recursionlimit을 크게 잡으시고..셀렉터를 이용해서 cascading하게 찾아나가는 방법도 있을것같네요.#summary > dl > dt고정된 텍스트라면 html에서 그냥 텍스트 파싱(

Sequencing technology:

부터

까지) 바이오인포매틱스쪽인가요 :) NCBI 완전 오랜만에 보네여..

파이썬 멀티프로세싱, 크롤링 도중 에러..정말 모르겠네요

1개의 답변

#multiprocessing 목록