딥웹은 어떻게 크롤링을 막나요?

Question

딥웹이 기술적으로 크롤링을 완전히 막을 방법이 있을까요?보통 웹에서는 robots.txt로 크롤링을 막는다고 알고있는데,사실 robots.txt는 데이터를 수집하지 말라는 '권고문'이지 기술적으로는 크롤링을 막을 수 없는거 아닌가요?그렇다면 정보기관 같은 곳에서 크롤링을 돌려서 딥웹 주소를 발견할 수 있다면딥웹 사이트 범죄들을 잡을 수 있는거 아닌가요?혹시 틀린 부분이 있다면 댓글로 얘기해주시면 감사하겠습니다.

Clickin · Answer

딥웹은 dns를 타지 않고 Tor 네트워크 안에서 돌아가는데 어떻게 크롤링을 할까요..?주소 무작위 대입하나요?

딥웹은 어떻게 크롤링을 막나요?

1개의 답변

#robots.txt 목록