robots.txt 관련 질문드립니다

Question

안녕하세요 robots.txt를 공부하던 중 궁금한 점이 있어서 질문 남깁니다.robots.txt 파일에 설정을 아래와 같이 하게 되었을 경우,User-agent: * Disallow: / 만약 aaa라는 이름의 사이트였다면 현재는 구글에서 aaa와 그 하부 내용들이 검색이 됩니다.하지만 disallow: / 로 설정했을 경우 aaa를 검색했을 경우에 지금 사이트도 검색이 안되는 것인지, 아니면 하부 내용들만 검색이 안되는 것인지 궁금합니다.만약 네이버의 예로 현재는 구글에서 네이버가 검색이 되었다면 Disallow: / 로 설정했을 경우 네이버를 검색했을 때 구글에 표시가 안되는것인지 알려주세요 ㅠ.ㅠ 그리고 로봇txt 파일을 아예 없애버린다면 검색이 무조건 허용인지, 로봇이 방문을 하지 않게 되는 것인지도 알려주시면 감사하겠습니다!

Balmy · Accepted Answer

저 로봇 상태는 지금 어떤 로봇이든 아무곳도 못들어간다는 뜻입니다홈페이지도 마찬가지로 못들어가서 검색 자체가 안되게 하려면 저렇게 하는거구요 로봇txt를 없애신다면로봇이 그냥 돌다가 찾아지면 그 로봇이 모두 긁어간다는 뜻이구요그대로 방치하시면 나중엔 모든곳에서 모든 링크를 가져갈껍니다 어떤 로봇이든 홈페이지만 나오게 하고 싶으시면User-agent: *Disallow: /Allow: /$ 이거쓰시면 루트페이지만 들어갑니다

KunAguero · Answer

BumYokan 답변 감사합니다!! 정말 많은 도움이 되었습니다 :)

robots.txt 관련 질문드립니다

2개의 답변

#robot 목록