주피터노트북으로 웹크롤링 하는법 질문드립니다.

Question

주피터노트북을 이용해 홈페이지 데이터들을 웹크롤링 후 엑셀파일로 저장하고 싶은데 도와주셨으면 합니다. 가독성이 나쁘게 글을 쓴 점 죄송합니다.웹크롤링을 하고싶은 사이트는 어바웃펫이라는 사이트이고, TV 부분에 고양이와 강아지 카테고리입니다.1. https://aboutpet.co.kr/tv/petSchool?pgCd=202. https://aboutpet.co.kr/tv/petSchool?pgCd=10참고사진1)을 보시면 카테고리 별 교육정보들이 전체 보기로 보이는데, 원하는 교육정보를 클릭하면 교육정보 상세페이지로 이동합니다.참고사진2)을 보시면 상세페이지가 보이는데, 파란색으로 표시한 제목과 내용, 동영상url을 크롤링하여 엑셀파일로 저장하고 싶습니다. 빨간색으로 표시한 부분을 클릭하면 다음 STEP으로 이동합니다.참고사진3)을 보시면, STEP1 교육정보의 모습입니다. 참고사진2번의 '교육시작하기' 버튼을 클릭해서 이동한 모습이고 동일하게 '다음' 버튼을 클릭해서 그 다음 SETP으로 이동합니다.참고사진4)을 보시면 웹크롤링을 이용해 데이터를 얻어오고 동영상을 다운로드하고 엑셀 파일로 저장에 성공한 모습입니다.저는 주피터노트북을 이용해 상세페이지 STEP별 교육정보들(제목, 내용, 동영상url)을 크롤링하여 엑셀파일로 저장하고 싶습니다.제가 시도했던 코드들을 첨부하겠습니다.# 필요한 라이브러리를 임포트합니다. import time # 웹사이트 로딩시간을 관리 # from : 모듈 또는 라이브러리에서 특정 부분을 선택적으로 가져오기 위해 함께 사용 # import : Python 프로그램으로 모듈을 가져오는 데 사용 from bs4 import BeautifulSoup # 웹페이지에서 데이터를 추출 # selenium : 웹사이트에 자동으로 접근하고 데이터를 추출하는데 사용되는 웹스크래핑 도구 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.chrome.service import Service from selenium.webdriver.support import expected_conditions as EC from webdriver_manager.chrome import ChromeDriverManager from urllib.request import urlretrieve # import os import re import pandas as pd # 파일명으로 사용할 수 없는 문자 제거 함수 def clean_filename(filename): return re.sub(r'[\/:*?"<>|]', '', filename) # ChromeDriver 설치 및 실행 chrome_options = webdriver.ChromeOptions() driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options) # 크롤링할 웹사이트 URL 설정 crawling_url = "https://aboutpet.co.kr/tv/series/indexTvDetail?vdId=N2021071903372&sortCd=&listGb=VT_1010_N" try: # 크롤링할 웹사이트 URL로 이동 driver.get(crawling_url) except Exception as e: print("URL에 접근하는 중 오류가 발생했습니다:", e) driver.quit() time.sleep(3) # 현재 웹 페이지의 HTML 소스 코드를 가져오기 html = driver.page_source # BeautifulSoup을 사용하여 HTML을 파싱. soup 객체 생성 soup = BeautifulSoup(html, 'html.parser') # 페이지 끝번호 태그 선택 pageEndTag = soup.select_one("div#vdoTopPaging span") # while문 돌릴 번호 pageEnd = int(pageEndTag.text) pageSrcTags = soup.select("div#listSrisSesn div.thumb-box>a") # 비디오 태그 선택 후 pageSrcTags에 저장 # 비디오 제목 태그 부분 선택 후 titles에 저장 titles = soup.select("div#listSrisSesn div.swiper-slide div.channel div.tit") # 각각 추출한 것들 pageSrc와 title로 리스트에 저장 pageSrc = [] title = [] # 반복문 사용하여 비디오 URL과 제목 추출 후 위의 리스트에 추출 값 저장 for tag, tit in zip(pageSrcTags, titles): fullTag = tag['name'] # name' 속성의 값을 fullTag에 넣음 trash, src = fullTag.split('_') # _ 기준으로 분할 후 각각 trash와 src로 할당함. pageSrc.append(src) # src를 pageSrc에 추가 title.append(tit.text) # 제목 추출 후 title에 추가 # 원하는 디렉토리 생성 output_directory = "videos" os.makedirs(output_directory, exist_ok=True) #----------------------------------------------------------- # ***** 데이터 프레임에 저장할 딕셔너리 생성 data = {'Title': [], 'Content': []} # 0부터 페이지 끝까지 반복 for n in range(0, pageEnd): # URL 이동. pageSrc[n]은 추출한 URL의 일부 org_crawling_url = "https://aboutpet.co.kr/tv/series/indexTvDetail?vdId=" + pageSrc[n] + "&sortCd=&listGb=VT_1010_N" try: # 크롤링할 웹사이트 URL로 이동 driver.get(org_crawling_url) except Exception as e: print("URL에 접근하는 중 오류가 발생했습니다:", e) driver.quit() time.sleep(3) # 3초 로딩 # HTML 파싱 html = driver.page_source # 현재 페이지의 HTML 소스 가져오기 soup = BeautifulSoup(html, 'html.parser') # BeautifulSoup을 사용하여 HTML을 파싱 content = soup.select_one("div#video_detail div.subject").text # 영상 정보 추출 # 비디오 요소인 iframe 찾은 후 나머지 코드 진행 video = None try: wait = WebDriverWait(driver, 10) video = driver.find_element(By.TAG_NAME, 'iframe') # iframe 요소 찾기 except Exception as e: print("비디오 요소를 찾는 중 오류가 발생했습니다:", e) driver.quit() # 비디오 URL 추출 video_src = None video_tag = None video_url = None if video: video_src = video.get_attribute('src') #

주피터노트북으로 웹크롤링 하는법 질문드립니다.

0개의 답변

기술 목록