웹 크롤링 관련 기술

Question

이번에 웹 크롤링 기술을 공부하고 싶어서 이것저것 검색하고 있는데 질문이 있어서 글 남깁니다. 제가 원하는거는 특정 키워드 (예 : 음식)를 설정하면 사과와 관련된 사이트들은 가져오는검색 엔진(혹은 쇼핑몰)과 같은것을 만들고 싶습니다. 일단 A라는 사이트의 글자를 가져와서 본문의 내용과 제목 등 키워드가 들어있으면 그에따른 세부정보(예 : 위치, 가격, 색 등등)을 데이터 베이스에 저장하도록 만들어보았습니다. 근데 제가 여러 자료나 알고리즘을 찾아보아도 A라는 사이트에서 B, C사이트를 찾아서 들어가는.트리 구조에서 루트노드의 위치하는 A는 구글 검색창 혹은 다나와 같은 이미 색인되어있는 사이트를 이용하는것이 대부분 이었습니다. 제가 궁금한거는 이 웹 크롤러 봇이 A사이트(크롤링하는 최 상위 사이트)를 어떻게 정하는지,구글, 네이버처럼 어느 한 웹사이트를 통해서가 아닌 검색을 시작하는 사이트를 어떤식으로 정하는지그것이 궁금합니다. ㅠㅠ(제가 글 실력이 안좋아서 읽는분들이 이해가 잘 될지 모르겠네요.. ㅠㅠ) &#43; 군대에서 공부하려하니까 자료도 찾기 어렵고... 질문할 사람도 없어 여기에 찾아왔는데 코딩이 아닌 이런 알고리즘에 관련해서 잘 정리되어있는 블로그나 사이트 없을까요..?

20170923 · Accepted Answer

오후 스크래핑을 말하시는 게 아니고 진짜 크롤링을 말씀하시는 거 같은데요? 데이터 수집 자동화욥 검색 엔진과 유사한 프로그램 제작이 목표신거같아영

오후 · Answer

제가 궁금한거는 이 웹 크롤러 봇이 A사이트(크롤링하는 최 상위 사이트)를 어떻게 정하는지, 구글, 네이버처럼 어느 한 웹사이트를 통해서가 아닌 검색을 시작하는 사이트를 어떤식으로 정하는지 그것이 궁금합니다. ㅠㅠ (제가 글 실력이 안좋아서 읽는분들이 이해가 잘 될지 모르겠네요.. ㅠㅠ) &#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61; 크롤링(스크래핑) 자체가 타겟사이트 기준으로 dom 을 파싱해서 데이터를 추출하는거기에 지정된 특정사이트에 맞추어 제작합니다. (내가 네이버 검색결과를 가져오겟다면 네이버 검색결과 화면을. 다나와를가져오겟다면 다나와 검색결과하면을) 하위노드(결과에의한 추가적인 사이트)는 고려의대상이아닙니다.(하위 노드의 사이트들에대한 모든 dom 구조를 하나하나 맞출수없기에) 포털 검색결과에대해 데이터를 가져온다면 해당 포털의 검색 API 를 활용하는게 일반적입니다.

초보개발자 이제경 · Answer

20170923 네!네! 데이터 수집 자동화 이걸로 검색해보니 원하는거랑 비슷하게 나왔어요!진짜 이 간단한 단어를 몰라서... 일단 오후 이분 말씀처럼 특정 사이트에서 따는거 먼저 해보고 응용개념으로 나아가면 쉬울것 같아요 두분 다 답변 감사합니다!

웹 크롤링 관련 기술

3개의 답변

#webcrawling 목록