크롤링이 막히는 이유(robots txt)

Question

크롤링을 공부 중입니다. robots txt를 준수하면서 크롤링을 하기 위해 30초~1분이 넘는 대기 시간을 테스트 해봤는데도 reCAPTCHA가 나오고 크롤링이 더 이상 진행되지가 않는 경우가 많습니다. 미국의 대형 쇼핑몰 walmart나 amazon을 크롤링 할 때도 같은 증상이 발생하는데, 원인이 너무 궁금합니다. 추측은, robots txt는 큰 의미 없는 파일이며, 대형 웹사이트는 크롤러를 기본적으로 막는게 일반적이다라고 생각해야 맞는걸까요?

defult · Accepted Answer

robots.txt는 수집자가 가져가려면 이정도만 가져가서 상업적이는 뭐든 사용하는것을 허가한다는 의미지 가져가는 방법까지 풀어준다는 아니므로 어떻게 가져갈지는 수집자가 알아서 구축해야합니다. 의미 없다기 보다는 그 이상의 범위로 가져가서 자기들 제품으로서 사용한다면 정도에 따라서 법리검토 들어갈지 모른다는 안내일 뿐입니다.

Dierslair · Answer

그렇지 않을까요? 정보가 돈인 세상인데 그걸 긁어가게 냅두진 않을 것 같습니다.

오후 · Answer

robots.txt 는 말그대로 봇들에대해 여기까지만 접근해라입니다. 크롤러도 어떻게보면 검색봇이라 위 사항에 따라갈수가있지만 일반 검색봇들과 다르게 (검색봇의경우 수집된 데이터의경우 1일 1회도안함) 짧은주기로 반복하게되는데 이경우 사이트 주인 관점에서 오버하자면 DDOS /트래픽공격과 마찬가지입니다. 그래서 짧은간격의 크롤링은 차단되는거구요

MECH2CS · Answer

John Suhr 저도 중요한 건 긁어가면 안된다는 생각이라 robot txt에 disallow된 걸 크롤링 안하면 된다고 생각했는데 좀 더 확장해서 생각해야겠네요. 답변 감사드립니다. defult 생각하지 못한 부분인데, 말씀하신게 와닿네요. 답변 감사드립니다. 오후 크롤링이 확실히 남의 정보를 가져가는거라 쉽지 않네요. 답변 감사드립니다

크롤링이 막히는 이유(robots txt)

4개의 답변

#recaptcha 목록