robots.txt 파일의 내용 이 뜻이 맞을까요?

Question

User-agent: *Disallow: /Allow: /Allow: /search최근 robots.txt 파일을 바꿨는데요. 제가 원하는 건 봇이 / 와 /search 만 크롤링 하고 나머지는 다 차단하겠다는 뜻으로 작성했습니다.근데 다른 사이트들은 저렇게 하는 경우가 없어서 저런 문법이 맞나 헷갈리네요.저 내용이 제가 원하는 뜻이 맞을까요?

오후 · Accepted Answer

Disallow: / (전체금지) 와 Allow: / (전체허용) 양립할수없습니다.

robots.txt 파일의 내용 이 뜻이 맞을까요?

1개의 답변

#robots.txt 목록