크롤링하려는 웹문서가 안될 때 처리방법은?

Question

크롤링하는 html 링크의 문서가 사진 처럼 '정상 브라우져 사용자가 아닙니다.' 라고 뜹니다. euc-kr의 http로 접속되는 웹페이지입니다. 저렇게 쉽게 크롤링 하기 힘들때는 어떻게 작업하시나요??

전기쥐동무 · Answer

&#64;kenu 이미지 첨부가 안되네요.. 사진속 내용은 <body> 태그 안에 정상 브라우져 사용자가 아닙니다. 라고 뜹니다...복사하신 url은 지워주시면 감사하겠습니다.

밤아홉시 · Answer

뭘로 판별하는지 알 수 없으므로 할 수 있는 걸 다 해 봅니다.일단 user agent 설정부터 시작해 보세요.

전기쥐동무 · Answer

&#64;밤아홉시 user agent 설정을 하는게 모바일 버전에서 확인하는 말씀일까요?https://egs41.tistory.com/entry/Chrome%EC%97%90%EC%84%9C-User-agent-%EB%B3%80%EA%B2%BD%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95

크롤링하려는 웹문서가 안될 때 처리방법은?

3개의 답변

#charset 목록