웹스크래핑 초보 개발자모드에 있는 element 발견 안됨

Question

웹스크래핑 초보입니다. BS4를 이용하여 class가 line인 요소를 찾는 코드인데, import requests from bs4 import BeautifulSoup url &#61; &#34;https://novelpia.com/viewer/566361&#34; useragent &#61; {&#34;User-Agent&#34; : &#34;Mozilla/5.0 (Linux; Android 12) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.101 Mobile Safari/537.36&#34;} res &#61; requests.get(url, headers&#61;useragent) # 사이트에서 개발자모드를 차단하는 스크립트가 있길레 해당 UA를 사용하면 우회가능했음. res.raise_for_status() soup &#61; BeautifulSoup(res.text, &#34;lxml&#34;) print(soup.find(&#34;class&#34;, attrs&#61;{&#34;line&#34;}))아래 코드를 입력했을때, 개발자모드를 통해서 요소를 발견했었는데, 값이 None으로 나옵니다.처음에는 useragent 때문인가 해서 UA를 저렇게 바꿨는데 안되네요.제가 기대한건 class가 line인 값들이 주르륵 나오는건데.혹시 사이트가 막아놓은 걸까요?아니면 코드가 이상한걸 까요?

웹스크래핑 초보 개발자모드에 있는 element 발견 안됨

0개의 답변

Q&A 목록