[파이썬] 크롤링에 관한 질문입니다.

Question

# 라이브러리 불러오기 import pandas as pd import selenium import time from bs4 import BeautifulSoup from selenium import webdriver import re import datetime as dt import requestschromedriver_path &#61; 'C:/Users/MY/HCODING/chromedriver.exe' requests &#61; webdriver.Chrome(chromedriver_path) response &#61; requests.get('https://coinpan.com/index')html &#61; requests.page_source soup &#61; BeautifulSoup(html, 'html.parser') board &#61; soup.find_all('div',{'class':'elasticsearch_result'}) title &#61; [] author &#61; [] content &#61; [] pageNum &#61; 1 for pageNum in range(1,3): response &#61; requests.get(f'https://coinpan.com/index.php?error_return_url&#61;%2F&vid&#61;&mid&#61;index&act&#61;IS&is_keyword&#61;%EC%9D%B4%EB%8D%94%EB%A6%AC%EC%9B%80&where&#61;document&page&#61;{pageNum}') print(f&#34;**************{pageNum}페이지입니다.**************&#34;) for text in board: title.append(text.find('a',{'class':'document_link'}).text) title &#61; text.find('p',{'class':'elasticsearch_link'}) print(title.text.strip()) time.sleep(2) pageNum &#61; pageNum &#43; 1 저는 현재 대학교 4학년이며, 졸업 후 대학원에 진학을 목표로 하고 있습니다.계량쪽에 관심이 생겨 혼자서 크롤링 공부를 하고 있습니다. 지금 한 커뮤니티에서 키워드를 치고 제목만 수집을 하고 있습니다. 한 페이지에는 10개의 게시물이 존재합니다. for pageNum in range(1,3): 을 쓰면 1페이지, 2페이지까지 잘 넘어갑니다.하지만 1페이지 게시물의 제목을 수집하고, 2페이지로 넘어가는데 제목은 2페이지 내용이 아닌 1페이지 내용이 중복되어 수집이 됩니다. 크롤링을 하던 중 며칠 동안 똑같은 문제를 해결하지 못해 이렇게 질문을 드립니다!!제가 쓴 코드에 대한 문제점을 알려주신다면 감사한 마음으로 배우겠습니다! 부탁드립니다. ㅠㅠ

neovim · Accepted Answer

for loop 내부에서 board를 갱신해보세요 현재는 계속 똑같은 데이터를 가져오는 코드네요

크롱코 · Answer

코드를 수정하다보니 정상적으로 작동하게 되었습니다!

[파이썬] 크롤링에 관한 질문입니다.

2개의 답변

Q&A 목록