셀레니움 사용해서 크롤링 중에 잘 되다가 중간에 몇번 적용이 안되는 건 왜 그런 건가요 ?

Question

위 사진과 같이 로또 추첨 번호를 크롤링해서 잘 받아오던 중에 저렇게 한번씩 적용이 안되는 경우가 있는데 왜 그런 건가요 ? 읽는 속도와 웹 로딩 속도 차이 떄문인걸까요 ? 궁금합니다!코드는 아래와 같습니다.# 동적 크롤링을 이용하여 현재까지의 모든 로또 추첨 번호 얻기from selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.chrome.service import Service as ChromeServicefrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.ui import WebDriverWaitimport time# 크롬 드라이버 실행 -> 항상 최신 버전만을 사용driver &#61; webdriver.Chrome(service&#61;ChromeService(ChromeDriverManager().install()))url &#61; 'https://www.dhlottery.co.kr/gameResult.do?method&#61;byWin' # 웹사이트 url 저장driver.get(url) # 해당 url에 대한 크롬 드라이버 적용time.sleep(2) # 로딩 시간을 2초간 기다려준다.from collections import deque # 드라이버가 인식할 변수 설정 weekCheckBox &#61; driver.find_element_by_xpath('//*[&#64;id&#61;&#34;dwrNoList&#34;]') # 리스트 박스 searchBtn &#61; driver.find_element(By.ID, 'searchBtn') # 조회 버튼 curSessionNum &#61; int(driver.find_element_by_xpath('//*[&#64;id&#61;&#34;dwrNoList&#34;]/option[1]').text) # 가장 최근 회차print(f&#34;가장 최근 회차 &#61; {curSessionNum}&#34;)dq &#61; deque() # 정보를 담을 덱 선언 for sessionNum in range(1, 10 &#43; 1): wait &#61; WebDriverWait(driver, 10) firstClick &#61; wait.until(EC.element_to_be_clickable((By.XPATH, '//*[&#64;id&#61;&#34;dwrNoList&#34;]'))) firstClick.click() # 회차 리스트 박스 클릭 secondClick &#61; wait.until(EC.element_to_be_clickable((By.XPATH, f'//*[&#64;id&#61;&#34;dwrNoList&#34;]/option[{sessionNum}]'))) secondClick.click() # 원하는 회차 클릭 thirdClick &#61; wait.until(EC.element_to_be_clickable((By.ID, 'searchBtn'))) thirdClick.send_keys('
') # 조회 버튼 클릭 numList &#61; driver.find_elements(By.CLASS_NAME, 'ball_645') temp &#61; [] for i in numList: temp.append(i.text) print(f&#34;{curSessionNum - sessionNum &#43; 1}회차 번호 &#61; {temp}&#34;) dq.appendleft(temp) # 오래된 정보일수록 앞쪽으로 배치

김을동 · Answer

결과물만 보고 왜그런지 예측할 수 있는 사람은 없을거같네유..(&#43;로또는 api제공해서 굳이 크롤링을..)

한안아 · Answer

아마 try 걸어둔거 같네요. 경험상 응답속도 저하로 대기 시간보다 오래 걸려서 에러났을듯요. 에러시 다시 시도하도록 수정하세요

이쪽저쪽 · Answer

1.타임아웃 걸기 2.엘리먼트가 있는지 여부 체크하기두 케이스에서 오류 걸리면스크린샷 찍어두기.화면 로딩이 잘되엇는지 판단하기/오류 로그 작성/재시도 코드 작성

셀레니움 사용해서 크롤링 중에 잘 되다가 중간에 몇번 적용이 안되는 건 왜 그런 건가요 ?

3개의 답변

기술 목록