크롤링 robots.txt 질문입니다!

Question

허용되지 않은 페이지에서 반복적으로 요청을 하니 TimeoutError가 나왔습니다. 허용되지 않은 페이지에서 데이터를 받아올 수 있는 방법이 있을까요? 만약 안된다면 다른 좋은 방법이 있는지 고수님들의 고견을 듣고 싶습니다.

풍월상신(가니메디안) · Answer

유닉스 타임스탬프도 눈에 안들어오는 분이 설날 연휴에 도대체 뭘 하고 계신 건지 모르겠습니다.로봇 규약은 다함께 지키자고 만든 규칙인데, 그걸 깨 가면서 어떤 요청이 필요한 걸까요?크롤러를 직접 코딩해서 돌린 상황 같진 않고, http 요청을 반복하신 것 같은데..서버 api 에서 봇 규칙으로 Disallow 걸어두고, api 요청엔 당연히 auth 검사를 하는데, auth 초기 검증도 통과하지 못한 요청을 ignore 하고 응답을 보내지 않은 겁니다.'벨 누르지 마세요' 붙여놨는데 벨을 자꾸 누르니 '님 무시' 하고 있는 거요..요청이 반복될 경우 ipchain 으로 영구 밴 될 수 있습니다.뭘 하고 계신 건지 모르겠으나, 먼저 원하는 결과물이나 과제를 분명히 표현하는 게 결과를 얻는데 더 도움이 될 것 같습니다.

크롤링 robots.txt 질문입니다!

1개의 답변

#robots.txt 목록