python Crawling

Question

안녕하세요저는 코딩을 배우지도 않았고 그냥 취미로 독학한 평범한 30대 남자입니다.집근처 부동산 중개사무소 정보가 필요해 취미로 배우던 코딩을 이용해 크롤링을 해보고자쳇gpt의 도움을 받아 작성한 코드입니다.from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECimport time # WebDriver 초기화options &#61; webdriver.ChromeOptions()options.add_argument(&#34;--start-maximized&#34;)options.add_experimental_option(&#34;detach&#34;, True)driver &#61; webdriver.Chrome(options&#61;options) # 네이버 부동산 URLurl &#61; &#34;https://m.land.naver.com/map/35.1851094:129.0894394:14/APT:ABYG:JGC/A1:B1#mapFullList&#34;driver.get(url) try: # 버튼 클릭 과정 WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, &#34;.btn_control.btn_sale.btn_article.is-active&#34;)) ).click() print(&#34;매물 클릭 완료!&#34;) WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, &#34;.btn_control.btn_complex.is-active&#34;)) ).click() print(&#34;단지 클릭 완료!&#34;) WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, &#34;.btn_control.btn_agency&#34;)) ).click() print(&#34;중개업소 클릭 완료!&#34;) WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, &#34;.btn_option._agency&#34;)) ).click() print(&#34;중개업소 목록 클릭 완료!&#34;) # 스크롤을 위한 영역 지정 scrollable_div &#61; WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, &#34;div.item_area&#34;)) ) # 스크롤 대상 영역 agency_data &#61; [] visited_items &#61; set() # 이미 방문한 중개소 저장 first_popup &#61; True # 첫 번째 팝업 창 여부 확인 print(&#34;스크롤 및 데이터 수집 시작...&#34;) while True: # 현재 화면에 로드된 중개소 목록 가져오기 agency_items &#61; scrollable_div.find_elements(By.CSS_SELECTOR, &#34;div.item._item&#34;) for item in agency_items: try: # 중개소 ID를 기준으로 중복 확인 agency_id &#61; item.find_element(By.TAG_NAME, &#34;a&#34;).get_attribute(&#34;_articleno&#34;) if agency_id in visited_items: continue # 이미 방문한 중개소는 스킵 # 중개소 이름 가져오기 name_element &#61; item.find_element(By.CSS_SELECTOR, &#34;strong.title&#34;) agency_name &#61; name_element.text.strip() # 전화번호 버튼 클릭 phone_button &#61; item.find_element(By.CSS_SELECTOR, &#34;button.btnrltrBtn.tel&#34;) phone_button.click() # 전화번호 가져오기 phone_numbers &#61; WebDriverWait(driver, 10).until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, &#34;spanrltrtel_no&#34;)) ) phone_number_list &#61; [phone.text.strip() for phone in phone_numbers] # 데이터 저장 agency_data.append({ &#34;id&#34;: agency_id, &#34;name&#34;: agency_name, &#34;phone_numbers&#34;: phone_number_list }) visited_items.add(agency_id) # 방문한 중개소 ID 저장 print(f&#34;수집 완료: {agency_name}, 전화번호: {', '.join(phone_number_list)}&#34;) # 첫 번째 팝업 창이면 뒤로가기 두 번 if first_popup: driver.back() time.sleep(1) driver.back() first_popup &#61; False # 첫 번째 창 처리가 끝났음을 표시 else: # 일반적인 닫기 버튼 처리 close_button &#61; WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, &#34;a.btn_closebtnclose&#34;)) ) close_button.click() time.sleep(1) except Exception as e: print(f&#34;데이터 수집 중 오류 발생: {e}&#34;) continue # 스크롤 수행 last_height &#61; driver.execute_script(&#34;return arguments[0].scrollHeight&#34;, scrollable_div) driver.execute_script(&#34;arguments[0].scrollTop &#61; arguments[0].scrollHeight&#34;, scrollable_div) time.sleep(2) # 스크롤 후 대기 # 스크롤 후 높이 확인 (더 이상 로드할 데이터가 없으면 종료) new_height &#61; driver.execute_script(&#34;return arguments[0].scrollHeight&#34;, scrollable_div) if new_height &#61;&#61; last_height: print(&#34;더 이상 로드할 데이터가 없습니다.&#34;) break # 결과 출력 print(&#34;
&#61;&#61;&#61; 중개소 데이터 &#61;&#61;&#61;&#34;) for agency in agency_data: print(f&#34;중개소 이름: {agency['name']}, 전화번호: {', '.join(agency['phone_numbers'])}&#34;) except Exception as e: print(f&#34;전체 오류 발생: {e}&#34;) finally: driver.quit()이것이 그 코드인데 사이트에 중개소 목록이 2000개가 넘개 있다고 나와있는데아무리 이것저것 고처봐도 20개 만 검색되고 나머지부분은 정보를 얻을수 없어서도움을 받고자 글을 올려봅니다.사이트에 뜨는 중개소의 정보(중개소 이름,전화번호) 를 얻고 싶은데 도와주시면 감사하겠습니다.

하태연 · Answer

전체 건이 2000건이고, 아마 화면에 보여주는 것이 20건씩 페이징 형식으로 보여주는 것 같네요. 이런 경우에는 일일이 다음 페이지를 눌러서 데이터를 가져오던지, 아니면 해당 페이지에서 네트워크 패널을 열어 보셔서 호출하는 API와 파라미터를 확인하고 조금 변경해서 호출해서 데이터를 가져오는 방법이 있습니다.단지, 그냥 집 근처에 있는 정보를 가져오는 데에는 위와 같은 방법으로 가능할 순 있으나 전국적으로 상세한 정보를 알고 싶으시면, Open API나 일정 금액을 지불하여 Key를 받은 다음에 해당 API를 이용하는 방향으로 가셔야 합니다.

python Crawling

1개의 답변

기술 목록