파이썬으로 네이버 뉴스 스크랩 관련 초보 질문

Question

안녕하세요. 파이썬 왕초보입니다.며칠을 고민해도 답이 안 나와서 고수분들의 고견을 여쭙습니다.네이버 뉴스에서 지난 1일 간 올라온 특정 기업(ex 삼성전자, 하이닉스, 엘지전자 등)의 뉴스를 최신순으로 정렬해서 '제목', '언론사', '업로드 시간' 등을 자동으로 스크랩하는 코드를 짜고 있는데요. 한 페이지에는 뉴스가 최대 10개밖에 없다 보니 뉴스가 많은 경우에는 다음 페이지까지 넘어가야 모든 기사를 가져올 수 있더라고요. 그래서 next 페이지 버튼이 있으면 그 다음 페이지로 가서 스크랩하라는 코드를 작성하고 있는데요.문제는 이렇게 해도 첫 번째 기업의 기사는 최대 10페이지까지밖에 못 불러오고, 두 번째 이후부터는 아예 status_code가 200이 아니라고 떠서 오류가 나네요.제가 지금 하고 있는 방식은 아래와 같습니다.최초 검색 결과는 base_url을 https://search.naver.com/search.naver 에서 query_param을 이용해 쿼리값을 정해주어 검색 URL(response)을 추출한다. 그리고 각 회사에 대해 원하는 값을 스크랩한다.base_url : https://search.naver.com/search.naver'for company in companies:query_params &#61; {'where': 'news','sort': '1', # Sort by date (latest first)'pd': '1', # Specify the date range'query': company}response &#61; requests.get(base_url, params&#61;query_params)만약 검색결과가 10개가 넘어서 페이지 내에 다음 페이지 버튼이 활성화되어 있으면 다음 턴에서는 next 버튼에서 추출된 페이지(next_page_url)에서 스크랩을 하도록 설정한다.(이렇게 하는 이유는 1에서 만들어진 url과 넥스트 버튼을 눌러서 다음 페이지로 갈 때의 url 구조가 달라지기 때문입니다.)그리고 한 페이지가 넘어갈 때마다 뒤의 start&#61;1 부분의 값이 &#43;10씩 증가하기 때문에 start&#43;&#61;10도 해줬습니다.next_button &#61; soup.select_one('a[role&#61;&#34;button&#34;].btn_next')if next_button is None or 'href' not in next_button.attrs:break# Construct the URL for the next pagenext_page_url &#61; next_button['href']if 'start' in next_page_url:next_page_url &#61; urljoin(base_url, next_page_url)else:breakcompanies에 있는 모든 기업 리스트에 대해 이를 실행한다.-> 여기서 문제가 발생하는데요.리스트의 첫 번째 에 있는 기업 페이지는 10페이지까지밖에 못 불러오고, 다음 기업부터는 아예 첫 번째 페이지도 불러오지 못하는 것 같습니다. 코드를 살펴보면 두 번째 기업부터는 아예 1에서 만든 URL의 status_code가 200가 아니라고 뜨네요.코드의 문제인지, 네이버에서 스크랩을 막아서 그런 건지 모르겠습니다ㅠㅠ혹시 전체 코드를 올리면 보시기가 좀 쉬울까요? 도움 부탁드립니다. 감사합니다.

shintwl · Answer

크롤링 코드가 1페이지만 되거나 처음에는 됐는데 다음부터 안될 때는크롤링 당하는 사이트에서 막았을 가능성이 거의 대다수입니다아마존, 쿠팡, 네이버, 인스타그램 등 많은 사람들이 이용하는 사이트는 크롤러의 주요 타겟이 되다 보니크롤러가 마음껏 돌아다니도록 놔두면 어마무시한 트래픽 비용을 감당해야 합니다그러다보니 인스타그램은 유료 결제를 통해 인스타그램 크롤링 등을 할 수 있도록 API를 제공하는 것으로 압니다공짜로 크롤링을 하고 싶다면 크롤러가 사람과 비슷한 패턴을 보이도록 구현해야 할 것 같습니다(법적인 부분은 몰라서 제외합시다)사람은 크롤러보다 몇천배는 느리게 클릭하거나 페이지를 전환합니다이처럼 크롤러도 작업과 작업 사이에 sleep 등으로 멈추는 시간을 주면 될 "수도" 있습니다

kiel · Answer

위에 댓글도 있지만, 네이버, 인스타, 아마존 등에서 크롤링 하려면 기계가 아니라 사람이 브라우저를 보는 것처럼 꾸밀 필요가 있습니다. 패러미터 변경하면 계속 불러오겠지.. 가 아니라 브라우저에서 request 날아가는거 확인하면서 비슷하게 구현하셔야 합니다.

1년했어요 · Answer

크롤링할때는 샤인님 말씀대로 스크롤을 내리는 동작을 넣는다던가 하는 패턴을 넣으면 되는 경우가 있습니다.

MungGaeDev · Answer

삼성을 검색하고 url을 보면 다음과 같이 나옵니다.https://search.naver.com/search.naver?where=news&sm=tab_pge&query=%EC%82%BC%EC%84%B1&sort=0&photo=0&field=0&pd=0&ds=&de=&cluster_rank=25&mynews=0&office_type=0&office_section_code=0&news_office_checked=&nso=so:r,p:all,a:all&start=11이중 query 파라미터에 검색어가 들어가고맨뒤 start에 표시되는 페이지1페이지면 1~10 이니 , 2페이지면 11이런식으로 구성되어 있음을 알 수 있습니다.마지막 start 부분을 컨트롤 하면 되겠습ㄴ.ㅣ다.

파이썬으로 네이버 뉴스 스크랩 관련 초보 질문

4개의 답변

기술 목록