코랩에서 크롤링 실행했을 때의 빈 값이 계속 나오는 문제발생

Question

안녕하세요. 코랩에서 크롤링 시도하다가 너무 어려워서 질문드립니다.. 코드블럭 생성하는게 어려워서 코드로 복붙해봅니다..이 점은 죄송합니다..제가 하고싶은 크롤링 목표가 https://www.nhis.or.kr/nhis/healthin/retrieveSsmkMdtrMdcAdminSearch.do여기서 시도선택을 서울특별시로 선택한후에 검색버튼 눌렀을때 나오는 병원이름,병원주소를 출력하는게 목표입니다.이 홈페이지의 구조는 1 2 3 4 5 > 이 페이지버튼에서 5의 배수페이지마다 >를 눌러야 다음페이지로 넘어갑니다.(5페이지에서 >을 누르면 6 7 8 9 10 > 이렇게 표시됩니다.)그리고 맨 마지막페이지가 169페이지까지 있습니다. 여기서 계속 막혀서 질문드려봅니다..일단 코랩에서 크롤링을 시도하고자 아래의 기본세팅을 실행했습니다.!apt install chromium-chromedriver!cp /usr/lib/chromium-browser/chromedriver /usr/binimport syssys.path.insert(0,'/usr/lib/chromium-browser/chromedriver')!pip install chromedriver_autoinstaller!pip install selenium!pip install bs4!pip install pandas!pip install webdriver_managerfrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byimport sysfrom selenium.webdriver.common.keys import Keysimport urllib.requestimport osfrom urllib.request import urlretrieveimport timeimport pandas as pdimport chromedriver_autoinstaller # setup chrome optionschrome_driver_path = r'/usr/lib/chromium-browser/chromedriver'sys.path.insert(0,chrome_driver_path)sys.path.insert(0,chrome_driver_path)chrome_options = webdriver.ChromeOptions()chrome_options.add_argument('--headless') # ensure GUI is offchrome_options.add_argument('--no-sandbox')chrome_options.add_argument('--disable-dev-shm-usage') # set path to chromedriver as per your configurationchrome_options.add_argument('lang=ko_KR') # 한국어chromedriver_autoinstaller.install() # set the target URLdriver = webdriver.Chrome(options=chrome_options)그리고나서 제가 코드를 아래와 같이 적었습니다import csvimport timefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import Select# 웹드라이버 실행url = "https://www.nhis.or.kr/nhis/healthin/retrieveSsmkMdtrMdcAdminSearch.do"driver.get(url)time.sleep(3)# 시/도 선택 (예: 서울특별시)sido_select = Select(driver.find_element(By.XPATH, '//*[@id="search_sido"]'))sido_select.select_by_value("11") # 서울특별시의 value는 "11"# 검색 버튼 클릭search_button = driver.find_element(By.XPATH, '//*[@id="btnSearch"]')search_button.click()time.sleep(3)# 병원 데이터를 저장할 리스트hospital_data = []# 최대 페이지 수 (169페이지까지 반복)max_page = 169current_page = 1 # 시작 페이지while current_page <= max_page: try: print(f" ====== {current_page} 페이지 크롤링 중 ======") # 병원 목록 가져오기 hospital_list = driver.find_elements(By.XPATH, "//*[@id='hospitalList']/li") for hospital in hospital_list: try: # 병원 이름 추출 title_element = hospital.find_element(By.XPATH, ".//a[1]/div[1]/span") title = title_element.text.strip() if title_element else "병원 이름 없음" # 병원 주소 추출 address_element = hospital.find_element(By.XPATH, ".//a[1]/p[2]") address = address_element.text.strip() if address_element else "병원 주소 없음" print(f"병원 이름: {title} | 병원 주소: {address}") hospital_data.append([title, address]) except Exception as e: print(f"병원 정보 추출 중 오류 발생: {e}") # 현재 페이지 번호 가져오기 current_page_element = driver.find_element(By.XPATH, "//*[@id='frm']/div[3]/div/div[2]/div[2]/div/div/div/div/strong") current_page = int(current_page_element.text) # 현재 페이지 번호 가져오기 # 다음 페이지 버튼 클릭 (현재 페이지 +1) next_page_number = current_page + 1 if next_page_number <= max_page: try: next_page_button = driver.find_element(By.XPATH, f"//*[@id='frm']/div[3]/div/div[2]/div[2]/div/div/div/div/a[text()='{next_page_number}']") next_page_button.click() time.sleep(2) except: print(f"{next_page_number} 페이지 버튼을 찾을 수 없음") # 5의 배수 페이지일 때 > 버튼 클릭 if current_page % 5 == 0 and current_page < max_page: try: next_group_button = driver.find_element(By.XPATH, "//*[@id='frm']/div[3]/div/div[2]/div[2]/div/div/div/a[3]") next_group_button.click() time.sleep(2) except: print("다음 그룹 버튼 (>)을 찾을 수 없음") except Exception as e: print(f"페이지 이동 중 오류 발생: {e}") current_page += 1# CSV 파일로 저장csv_filename = "hospital_data.csv"with open(csv_filename, mode="w", newline="", encoding="utf-8") as file: writer = csv.writer(file) writer.writerow(["병원 이름", "병원 주소"]) # 헤더 추가 writer.writerows(hospital_data) # 병원 데이터 저장print(f" ✅ 크롤링 완료! 데이터가 '{csv_filename}' 파일로 저장됨.")driver.quit()결과는병원 이름: | 병원 주소:페이지 이동 중 오류 발생: invalid literal for int() with base 10: '' 이렇게 빈값과 이 문구가 뜹니다일단 아직 많이 미숙해서 코드가 어디가 어떻게 잘못됐는지를 잘 모르겠습니다. 실행은 코랩에서 제대로 됐다고 떠서요..아니면 혹시 vscode같은 다른환경에서 진행해야 될 문제인지도 봐주시면 감사하겠습니다 (기본세팅은 실행이 제대로 됐습니다.)gpt한테 계속 물어봐도 해결이 안되서 여쭤봅니다.. 봐주시면 감사하겠습니다!

캐티 · Answer

페이지 로딩 시간이 더 길어져서 코드가 터졌을 꺼빈다. 고정 시간을 사용하지 않고 능동적으로 반응하는 코드를 만들어야 하빈다. 예컨데 쿠_ 페이지네이션 1페이지에서 끝페이지 까지 탐색하는 방법이 있을 것이고, 처리 속도를 빠르게 만들고 싶다면 멀티 탭에 각각에 5페이지씩 읽어오면 아주 빠를 것이빈다. 여럿 페이지를 띄워버리면 더 느려져서 실질적으로 10초가 넘어가는 경우도 있겠쩌. 휴대폰에 웹을 띄우면 특히 더 느릴꺼빈다.이렇다 하더라도 지나치게 빠르게 로딩을 하면 응답이 거부되는 경우가 생기므로 이케하면 안되고, 로봇 챌린저가 들어있는 경우에는 일반적인 방법으로 한도에 잘 걸릴꺼빈다.

콘크리트늘보 · Answer

일단 오류 메시지가 int()가 호출 되는 부분에 잘못된 글자가 있다고 합니다. 그리고 int()가 들어간 부분은 올려주신 코드 중에는 current_page = int(current_page_element.text)  # 현재 페이지 번호 가져오기이 부분 뿐이니 current_page_element가 달라지는 부분이 있는지 체크해보시면 될 것 같습니다.그리고 추가로 크롬의 Network 탭을 보다 보면 selenium을 써야 하는지 아닌지 생각해볼 수 있는 부분도 있답니다?

코랩에서 크롤링 실행했을 때의 빈 값이 계속 나오는 문제발생

2개의 답변

기술 목록