웹 크롤링 질문이염

Question

안녕하세요, 파이썬으로 웹 크롤링을 하려는데 잘 안 되네여 ㅠㅠ http://luris.molit.go.kr/web/index.jsp 이 사이트 크롤링을 하려고 하고 있는데여, html은 까막눈이라 처음에 requests로 해볼려고 했다가 포기하고 selenium으로는 되긴 되는데 너무 오래 걸려요... 테스트로 10개 해봤는데 1분 넘게 걸렸거든요 ㅠ 총 몇십만개는 해야 돼서요 ㅠㅠ 어떻게 더 빨리 하는 방법이 없을까요?? 제가 requests로 하면서 막힌 부분은 이 웹사이트는 주소창에 검색어가 포함된 url이 안 떠서 다른 사이트들처럼 검색어 포함 url로 크롤링을 못 하겠더라구여 ㅠㅠ예를 들면 구글은 개포동 123 이라고 검색하면https://www.google.com/search?q&#61;%EA%B0%9C%ED%8F%AC%EB%8F%99&#43;123&oq&#61;%EA%B0%9C%ED%8F%AC%EB%8F%99&#43;123&aqs&#61;chrome.0.69i59j0j0i30l6.1827j0j7&sourceid&#61;chrome&ie&#61;UTF-8이런식으로 검색어가 포함된 url을 보여줘서 그걸 가지고 크롤링 하면 되는데, 저 사이트는 검색 결과 url이 그냥http://luris.molit.go.kr/web/actreg/arservice/ArLandUsePrintFrame.jsp이렇게 떠요 ㅠㅠ 도와주세요!!

allinux · Answer

몇십만개요? 즉 몇십만번 request 를 하겠다는 이야긴데 concurrent 하게 수백번 동시에 request 보내면 dos 공격으로 오인해서 ip 가 블럭되거나 불이익을 받을 수도 있습니다.잘 알아보고 하세요. 그리고 selenium 으로는 concurrent 로 작업해도 많은 작업은 무리입니다. requests 는 async 를 지원안하구요일단 http 작업을 효율적으로 하려면 asyncio 를 활용해야 합니다. aiohttp 가 asyncio 를 지원하니 이것을 활용해보시기 바랍니다.

웹 크롤링 질문이염

1개의 답변

#requests 목록