웹 크롤러 robots.txt 질문

Question

안녕하세요 웹 크롤링을 통해 어플리케이션을 제작하려고 합니다.해당 url의 robots.txt가 아래와 같습니다.User-agent: *Disallow:Disallow에 /(루트)가 없는데, 이건 모든 크롤링이 가능하다는 뜻인가요? GPT여러개에 물어봤는데, 모두 크롤링이 가능하다고 하는데, 정확한지 여쭈어보고 싶습니다.감사합니다.

RWB · Answer

Disallow는 비허용할 경로를 지정하는 명령어인데, 지정된 게 없으므로 모든 URL의 크롤링을 허용하는 구문이 맞습니다.아래 텍스트 모두 동일하게 모든 URL의 크롤링을 허용합니다.User-agent: * Allow: / User-agent: * Disallow:

웹 크롤러 robots.txt 질문

1개의 답변

Q&A 목록