파이썬 크롤링 새로운 페이지 마다 source 다시 받아오기

Question

안녕하세요 파이썬 크롤링 제작 중 질문 있어 남깁니다!메인 페이지에서 아이템 아이디 받아오기해당 아이템의 상세 페이지에서 크롤링 진행하기위 두 조건으로 진행 중인데 2번에서 막힙니다.반복문으로 아이템을 돌 때 마다 page &#61; driver.page_source bs_obj &#61; BeautifulSoup(page, &#34;html.parser&#34;) driver.implicitly_wait(1500)해당 코드를 작성 후 사용 중인데이상하게 모든 페이지가 적용되지 않고 빈 배열이 출력 될 경우가 많습니다.또한 안긁어 올 때도 많구요...로딩의 문제인지 반복문 안에 해당 코드를 사용하면 안되는건지 질문 남깁니다!

판교바닐라라떼 · Answer

혹시나 해서 말씀드리지민 자바스크립트가 동적으로 HTML을 생성하는 사이트가 아니면(&#61;&#61; get, post로 데이터를 받아올 수 있는 사이트라면) 어지간해서는 굳이 셀레니움을 쓸 필요가 없을겁니다.

파이썬 크롤링 새로운 페이지 마다 source 다시 받아오기

1개의 답변

Q&A 목록