[파이썬] 여러 페이지 크롤링에 관하여 질문드립니다

Question

현재 정적 웹페이지 크롤링을 공부하고 있습니다.현재 url을 불러와 페이지 넘어가는 부분까지는 학습을 했습니다. 여기서 질문을 드리고 싶은 것은제가 for page in range(1,3)을 지정해서 2페이지까지 데이터를 수집하려고 합니다.한 페이지당 데이터는 10개가 수집이 됩니다.하지만 저렇게 코드를 돌리니 1페이지~2페이지로 페이지는 넘어가고 데이터가 20개가 수집이 되는데1페이지 내용만 중복되어 수집이 됩니다.제가 원하는 것은 페이지가 넘어가면서 해당 페이지 내용들이 수집되는 겁니다. 제가 코딩을 시작한지 얼마 되지 않아 며칠째 여기 부분에 막혀서진도가 나가질 못하고 있습니다 ㅠㅠ 혹시 해당 문제에 대해서 알고 계시는 분이 있으실까요??부탁드립니다!

꿈코더 · Accepted Answer

폰이라 잘 보이진 않는데 request.get(url) 이란 해당 url에 요청을 보내 응답을 받아온다는 의미입니다. 다음 페이지에 대한 정보를 얻고 싶다면 다음 페이지 url에 대한 요청을 해야하는데 여기선 같은 url 같네요?

크롱코 · Answer

reponse &#61; requests.get(f' 뒤의 코드입니다. 혹시 여기서 문제가 있는걸까요?

크롱코 · Answer

코드를 수정하다보니 정상적으로 작동합니다.답변을 주셔서 감사합니다!

[파이썬] 여러 페이지 크롤링에 관하여 질문드립니다

3개의 답변

Q&A 목록