(Python) requests.get() 속도 관련 질문입니다.

Question

이미지를 순회하며 저장하는 프로그램입니다.프로그램이 다 좋은데 저 주석표시된 부분(requests.get())에서 한번씩 멈칫 하고 가네요.뭔가 저 시간을 단축시킬 수 있는 방법 없을까요?인터넷문제나 컴퓨터 사양 때문이라면 어쩔 수 없죠ㅠㅠfor i in range(lastpg): for j in range(len(pics)): preImg_src &#61; pics_img[j].get('src') print(i &#43; 1, '-', j &#43; 1, ' [////', end&#61;'') picURL &#61; str(pics[j])[9:69] picURL &#61; picURL.replace('amp;', '') picURL &#61; 'https:' &#43; picURL print('////', end&#61;'') res &#61; requests.get(picURL) # 여기에서 한번 멈추고 res.raise_for_status() print('////', end&#61;'') viewSoup &#61; bs4.BeautifulSoup(res.text, &#34;html.parser&#34;) downloadTag &#61; viewSoup.select('#image') downloadUrl &#61; downloadTag[0].get('src') filename &#61; os.path.basename(downloadUrl) print('////', end&#61;'') if filename in f_list: print('////]') continue else: res &#61; requests.get(downloadUrl) # 여기서 또 한번 멈춤 res.raise_for_status() print('//', end&#61;'') imageFile &#61; open(os.path.join(filedir, filename), 'wb') print('//] ', filename, ' is Downloaded.') for chunk in res.iter_content(10000): imageFile.write(chunk) imageFile.close() downloadedNum &#43;&#61; 1

youngyoung · Answer

여기 한번 참고해보세요내용을 봐서는 어쩔수 없긴 한데 시간 개선할수는 있겠네요 https://realpython.com/python-requests/

rvo · Answer

네트워크 연산이 가장 느리니까요.

rvo · Answer

네트워크 연산을 빠르게 하는건 너무 내용이 방대해져서 잘 안다루고보통 알고리즘을 concurrent 하게 바꾸면 전체적으로 빨라질 수 있습니다.

(Python) requests.get() 속도 관련 질문입니다.

3개의 답변

#requests 목록