robots.txt를 이용해서 크롤링을 제한할때 특정 키워드가 포함됨 html의 검색을 제한할수는 없나요?

Question

robots.txt파일을 이용해서 구글 검색엔진의 조회를 막고싶은데 특정 경로를 지정해서 그 경로의 접속이 안되게 할 수 있다는것은 알고있습니다.그런데 이 경우 외에 글의 내용에 특정 단어가 있을때 그 글들만 조회가 안되게 하는 방법이 있을까요?로봇파일은 url을 기준으로 하기 때문에 안될거같다는 생각이 들어서 궁굼하여 글을 남깁니다.혹시 로봇파일로 안된다면 다른 방법으로도 접근을 제한할 수 있을지 아시는분 댓글 남겨주시면 감사하겠습니다.

robots.txt를 이용해서 크롤링을 제한할때 특정 키워드가 포함됨 html의 검색을 제한할수는 없나요?

0개의 답변

#robots 목록