웹크롤러 도움 주실분..

Question

안녕하세요.웹크롤링이 잘 안되어서 고민하다 문의드립니다. 크롤링하려고하는건 law.go.kr의 개인정보보호법입니다. html을 파싱해야하는데, 원하는부분의 HTML코드를 계속 못읽더라구요.. 원인을 모르겠습니다 ㅠㅠ 먼저 크롬 개발자도구로 본 문제의 부분은 아래와 같습니다.

allinux · Accepted Answer

ajax 로 받아오기 때문에 xhr 로 처리되는 부분을 모니터링 해야 합니다.아래링크가 본문에 해당하는 링크입니다.https://law.go.kr/LSW/lsInfoR.do?lsiSeq&#61;213857&efYd&#61;20200805&chrClsCd&#61;010202&vSct&#61;%EA%B0%9C%EC%9D%B8%EC%A0%95%EB%B3%B4%EB%B3%B4%ED%98%B8%EB%B2%95&efGubun&#61;Y&ancYnChk&#61;0

서예ㅎ · Answer

파이썬 requests 모듈로 하시는거고 ajax 호출등이 어려우시고 크롤링하는 시간이 길어도 상관없으면selenium으로 하시면 좀 더 편할 수 있습니다.브라우저에서 전체 페이지 로딩하는것과 동일하게 동작해서, 느리긴해도 좀 더 편하게 크롤링 할 수 있을거에요.

hamgo · Answer

allinux님 감사합니다. ajax ... xhr.. 부분을 공부해야봐야겠네요~ 보보8님, 해당 웹페이지가 iframe으로 불러오고있어서 selenium을 사용중입니다.selenium은 느리긴해도 브라우저에서 보는것과 동일하게 가져오는것으로 알고있는데.. 못가져와서 의문이었습니다. 두분 다 답변 감사합니다. ㅎㅎ

hamgo · Answer

selenium으로 ajax를 가져올땐 충분히 기다려야하는군요아래 사이트를 참고하여 해결했습니다.https://stackoverrun.com/ko/q/7397229

웹크롤러 도움 주실분..

4개의 답변

#crawler 목록