크롤링 셀리니움을 사용하여 url 접근 시 다른 페이지가 나옵니다.

Question

크롤링 셀리니움을 이용하여 데이터를 가져올려고 하는데요. url get 진행시조금 다른 페이지가 나오게 됩니다. 직접 들어가는 페이지랑 조금 다른 페이지가 나오게 되서 무슨 문제 인지감이 안잡히는데요.... 완전 다른페이지는 아니지만 카테고리에 있는 데이터들이 없는 상품들이 있거나아니면 순서와 맞지 않습니다. 무슨 문제인지 알려주실 고수분 없으신가요?코드도 포함해서 다시 올립니다. 도와주시면 감사하겠습니다.코드는 단순합니다. 아직 초보라...from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsfrom selenium.webdriver.common.by import Byfrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium_stealth import stealthfrom selenium.webdriver.chrome.service import Serviceurl &#61; &#34;https://emart.ssg.com/disp/category.ssg?dispCtgId&#61;6000213114&shpp&#61;ssgem&#34;option &#61; Options()# 안전하지 않은 세션 허용option.accept_insecure_certs &#61; Falseoption.page_load_strategy &#61; 'normal'# 크롬 자동화 감지 방지 설정 && 불필요한 에러 메시지 삭제option.add_experimental_option('excludeSwitches', ['enable-automation'])# 브라우저 꺼짐 방지 옵션option.add_experimental_option(&#34;detach&#34;, True)option.add_argument(&#34;--no-sandbox&#34;)option.add_argument(&#34;--disable-dev-shm-usage&#34;)option.add_argument(&#34;disable-gpu&#34;) # 가속 사용 xoption.add_argument(&#34;lang&#61;ko_KR&#34;) # 가짜 플러그인 탑재# 브라우저 창 크기 설정option.add_argument(&#34;--start-maximized&#34;)# option.add_argument('window-size&#61;1920x1080')# 팝업 차단을 활성화합니다.option.add_argument(&#34;--disable-popup-blocking&#34;)option.add_argument(&#34;--disable-blink-features&#61;AutomationControlled&#34;)option.add_argument('--disable-popup-blocking')option.add_argument('user-agent&#61;') # 크롬 드라이버 최신 버전 설정service&#61;Service(ChromeDriverManager().install())driver &#61; webdriver.Chrome(service&#61;service, options&#61;option)driver.get(url)driver.implicitly_wait(3)print(driver.current_url)

깨구리 · Answer

접속하는 디바이스나 브라우저 에이전트에 따라 다른 정보를 보여주는 경우도 있는데 수집 페이지가 그런건 아닐까요?

특이점이 왔다 · Answer

코드 보여주심 더 편할듯 싶은데여 아마 접근 방식이 달라서 추천 데이터 공백이 발생하는거 같은데여

한안아 · Answer

헤더 셋팅했나요

한안아 · Answer

내 PC 기준 동일하게 뜹니다.

크롤링 셀리니움을 사용하여 url 접근 시 다른 페이지가 나옵니다.

4개의 답변

기술 목록