크롤링

Question

혹시 ssg 상품 크롤링 할때 너무 자주 같은 사이트 방문하면 막히는거런 현상 같은거 있나요? 연속적인 새로고침 오류, 신세계적 쇼핑포털 SSG.COM 현재 python pycharm 에서 해보고 있는데 밑에 저런 글이 보여서 문의 합니다

kenu,전독시 · Answer

https://www.ssg.com/robots.txt룰 참고하세요.

gsw_crawle · Answer

User-agent: * Disallow: /혹시 이게 일반 유저는 사실상 모든 크롤링을 못하게 한다는 뜻인가요?

console.error() · Answer

원칙상 밑에 나열 된 Agent 외에는 수집을 허용하지 않는다는 뜻이긴 합니다.

gsw_crawle · Answer

앗 감사합니다. 그렇게 되면 아마 어느정도 막아 놨을수 있겠네요 감사합니다

4개의 답변