검색엔진들이 웹사이트 순회하는 건 어떻게 하는 건가요?

Question

인터넷 웹사이트 중 저희 지역에 관련된 곳이 있으면 어떤 사이트들이 있는지 알아 보려 하는데요.떠오른 게 구글 같은 검색엔진은 전 세계의 모든 웹사이트를 수집하잖아요. 그러면 웹사이트 주소를 알아야 접근을 할 수 있을 건데요. 이런 무작위의 인터넷 url 주소를 얻는 방법은 무엇이 있을까요?

a little more · Answer

보통 웹사이트를 만들면 구글같은 검색엔진에 자신의 웹사이트를 등록하는 과정을 거칩니다네이버도 등록해야되요그러면 검색엔진이 등록된 호스트를 이용해 페이지를 타고 들어가면서 수집하는거죠~구글같은경우는 구글 애널리틱스도 있고 여러가지 인프라가 세계적으로 퍼져있기때문에 수집하기가 더 수월할거에요

판교바닐라라떼 · Answer

그게 바로 진짜 크롤러가 하는 일입니다. 상당히 고급기술이지요.

mirheeoj · Answer

간단한 시작점을 생각해보면.. 인터넷 자료들은 대부분 다른 사이트/페이지로 갈 수 있는 링크를 가지고 있지 않습니까. 역으로 보면, 아무도 접근할 수 없는 웹사이트를 만들고 싶은 사람은 거의 없을 것이므로 어떻게든 웹사이트 주소가 어딘가에 노출이 되어있을 수밖에 없기도 하고요. 즉, 모든 웹사이트들이 링크를 통해 n:n 형태로 얽혀있다는 거예요. 말 그대로 인터넷이니까. 그래서 그걸 문어발식으로 끝없이 타고 갈 수 있는 거죠. 그 과정에서 얼마나 많이, 중요한 것을 어떻게 먼저 수집하느냐 등이 기술이 되는 것이고요.

캐티 · Answer

처음에는 사람이 몇 곳의 웹사이트 도메인을 수집기에 등록합니다. 이렇게 하면 대상 웹사이트를 계속해서 들어가서 헤집고 다닐 것이어요. 그러면서 신규 도메인을 찾고 수집기에 추가 등록 합니다. 이런 작업을 반복하여 탐색 영역을 확장시킵니다. 이것이 가장 원시적인 방법입니다.

검색엔진들이 웹사이트 순회하는 건 어떻게 하는 건가요?

4개의 답변

기타 목록