OKKY에서 'robots' 태그가 붙은 글 4개를 모았습니다.

대표 글은 robots.txt를 이용해서 크롤링을 제한할때 특정 키워드가 포함됨 html의 검색을 제한할수는 없나요? · 최고의 로봇 샌딩 툴을 선택하는 방법 · robots.txt 관련 질문드립니다입니다.