웹 크롤링 관련 질문입니다. frame으로 막은 사이트 파싱 관련 질문

Question

s그룹의 IT계열사 뉴스 페이지를 파싱해서 알림앱을 만들려고하는 중 입니다.처음에 크롬에서 소스보기를 하니까 전체 소스가 안보였습니다. 그래서 찾아보니 html에서 frame이라는 기술?로 본문을 숨길 수 있다는 것을 확인했습니다. 제가 파싱하려는 페이지가 프레임으로 가려져있는 상태이고 페이지를 이동해도 따로 url이 변경하지 않습니다. 하지만 불굴의 의지로 파싱을 원하는 페이지의 url을 찾아냈습니다. 그리고 Jsoup이라는 html 파싱 라이브러리로 숨겨져있는 html 파일을 찾아냈습니다!!준비는 모두 끝났는데 혹시 이런 사이트의 html 소스를 파싱할때 법적인 문제가 발생하지 않을까 궁금합니다...

guyv · Accepted Answer

웹의 모든 정보는 누구나 접근 가능하고, 이는 컨덴츠를 제공하는 웹 서비스 서버에서 로그인 필요와 같은 접근 제어로 막아야 합니다. 눈에 보이는건 웹브라우저에서 특별한 처리를 한게 아니고, 규약대로 다운받아서 렌더링 후 보여주는 것이죠. 즉, 기술로 크롤링하여 퍼가는 법적인 문제는 없구요. 그 컨덴츠를 어떻게 사용하느냐가 법적으로 문제되겠지요. 다른 문제라 보여집니다.

아싸꼬랑내 · Answer

음 감사합니다! 확실히 하기 위해서 관리자한테 메일 보냈습니다!!

아스키 · Answer

뉴스 페이지라면 RSS로도 보내줄텐데요..

웹 크롤링 관련 질문입니다. frame으로 막은 사이트 파싱 관련 질문

3개의 답변

Q&A 목록