웹사이트 크롤링하려는데 html error 때문에 진행이 안되네요..

Question

import urllib.request from bs4 import BeautifulSoup url &#61; 'https://kr.iherb.com/search?kw&#61;21st%20century' html &#61; urllib.request.urlopen(url).read() soup &#61; BeautifulSoup(html, 'html.parser') address &#61; soup.find_all(class_&#61;'absolute-link product-link') for i in address: print(i.attrs['href']) print() 검색해보니 header로 user-agent 지정해주면 된다고 해서 해봤는데도 에러가 나고.... 진행이 안됩니다ㅜㅜ 네이버나 구글 url로 했을땐 동작됐는데 html, css 강좌를 아무리 찾아봐도 이해가 되지 않습니다ㅜㅜ

신히 · Answer

해당 사이트에서 user agent 가 비정상인 경우 튕겨내는 것으로 추측됩니다.아래와 같이 헤더를 설정해보세요.import urllib.request from bs4 import BeautifulSoup headers &#61; {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'}url &#61; 'https://kr.iherb.com/search?kw&#61;21st%20century'req &#61; urllib.request.Request(url, headers&#61;headers)html &#61; urllib.request.urlopen(req).read()soup &#61; BeautifulSoup(html, 'html.parser') address &#61; soup.find_all(class_&#61;'absolute-link product-link') for i in address: print(i.attrs['href']) print() &#x1f680; 소스 테스트 해보기

웹사이트 크롤링하려는데 html error 때문에 진행이 안되네요..

1개의 답변

Q&A 목록