쿠팡 크롤링 header 추가 오류

Question

안녕하세요. 쿠팡 크롤링을 하고 있는데 프로그램을 실행시키면 실행이 안되고 무한 로딩이 되어 질문 글을 쓰고 있습니다.아래의 코드를 보면 일반적인 headers 값을 추가했는데도 불구하고 실행이 안되어 뒤에 다른 옵션을 더 넣었습니다.그러니 맨 처음은 실행이 되었는데 다음부터는 다시 막히네요.더 추가할게 있을까요?감사합니다.import requests from bs4 import BeautifulSoup import re url &#61; &#34;https://www.coupang.com/np/search?component&#61;&q&#61;%EC%95%94%EB%A7%89%EC%BB%A4%ED%8A%BC&channel&#61;user&#34; hdr &#61; {&#34;Users-Agent&#34; : &#34;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36&#34;,&#34;Accept-Language&#34;: &#34;ko-KR,ko;q&#61;0.8,en-US;q&#61;0.5,en;q&#61;0.3&#34;} res &#61; requests.get(url, headers&#61; hdr) res.raise_for_status() soup &#61; BeautifulSoup(res.text, &#34;lxml&#34;) print(res.text)

shintwl · Accepted Answer

맨 처음은 실행이 되었는데 다음부터는 다시 막히네요.이 문장을 봤을 때 쿠팡에서 차단한 것 같습니다

하루의_spring · Answer

쿠팡은 크롤링 감지 봇이 있어서 계속 차단합니다

쿠팡 크롤링 header 추가 오류

2개의 답변

#crawling 목록