spa사이트의 웹스크래핑과 관련하여

Question

이번에 php로 사용자가 특정url을 입력하면, 그 url을 받아서 해당 url의 메타 태그의 이미지와 설명글을 가져오는 웹스크래핑을 구현하고 있습니다. 그러던 중에 인스타와 같은 spa사이트는 js파일이 html요소들을 로드하는 방식이어서 헤드리스 브라우저를 사용해야 html요소를 로드해서 스크래핑할 수 있다고 하더라고요. 그래서 헤드레스 브라우저를 열고 관련 내용을 스크래핑하는데, 하나의 문제가 발생하더군요. 인스타나 페이스북 같은 웹서비스들은 하나의 계정이 단시간에 반복적으로 로그인을 하니, 차단을 하더라고요. 그리고 다른 문제점은 css선택자로 스크래핑을 하기에 스크래핑을 하고자하는 웹사이트가 해당 부분을 변경하면 기능이 정상 작동하지 않게됩니다. 뭔가 위의 두 가지 문제를 해결할 만한 방법이 없을까요? 아직 실력이 부족해서 구글링을 해도 만족스러운 결과를 얻지 못하고 있네요.

밤아홉시 · Answer

1) 로그인 세션을 유지하시면 됩니다. 방법은 검색해 보세요.2) 이건 정답이 없고 하기 나름입니다. 일단 id와 같이 변경되지 않는 값을 가지는 요소나1개만 선택되는 요소를 찾아서 그걸 기준으로 잡으시면 되요.예를 들어, 아래 인스타 페이지에서 img를 가지고 오고 싶다면https://www.instagram.com/explore/tags/skyarticle부터 시작하면 됩니다.document.querySelectorAll('article img');

메소드800 · Answer

&#64;밤아홉시친절한 답변 감사합니다.

spa사이트의 웹스크래핑과 관련하여

2개의 답변

#spa 목록