다음(daum) 영화 사이트에서 한글 리뷰 데이터 수집 크롤링 질문

Question

이 코드는 해당 사이트의 html 코드를 직접 넣어줬을 때는 리뷰데이터 수집이 가능한데근데 댓글 수가 많을수록 html코드가 너무 길어서 html코드 대신 url 사이트 주소를 넣으면 자동으로 크롤링이 되도록 하고 싶습니다이 코드 아래에 gpt의 도움을 받아 url 주소를 넣어주면 자동으로 크롤링 해준다는 코드도 같이 올렸습니다from bs4 import BeautifulSouphtml_code &#61; &#34;&#34;&#34;#여기에 HTML 코드 삽입&#34;&#34;&#34;# BeautifulSoup을 사용하여 HTML 파싱soup &#61; BeautifulSoup(html_code, 'html.parser')# 댓글 목록 선택comments &#61; soup.find_all('div', class_&#61;'cmt_info')# 댓글 정보 출력for comment in comments: # 댓글 작성자 author &#61; comment.select_one('.link_nick span:nth-child(2)').get_text(strip&#61;True) # 평점 rating &#61; int(comment.select_one('.ratings').get_text(strip&#61;True).replace('rating_', '')) # 댓글 내용 content_element &#61; comment.select_one('.desc_txt') if content_element: content &#61; content_element.get_text(strip&#61;True) # 출력 print(f'작성자: {author}, 평점: {rating}, 내용: {content}') else: print(f'작성자: {author}, 평점: {rating}, 내용: 없음')이 코드는 gpt의 도움을 받아서 url만 넣어주면 자동으로 크롤링을 해준다고 하는데 아무리 실행해도 데이터 수집이 안되네요..어떻게 수정을 해야할까요?import csvimport requestsfrom bs4 import BeautifulSoup def scrape_reviews_from_url(url): # URL에서 HTML 가져오기 response &#61; requests.get(url) html_content &#61; response.text # BeautifulSoup을 사용하여 HTML 파싱 soup &#61; BeautifulSoup(html_content, 'html.parser') # CSV 파일 생성 with open('reviews.csv', 'w', newline&#61;'', encoding&#61;'utf-8') as file: writer &#61; csv.writer(file) # CSV 헤더 작성 writer.writerow(['평점', '리뷰']) # 모든 리뷰 항목을 찾습니다. comments &#61; soup.find_all('div', class_&#61;'cmt_info') # 각 리뷰 항목에 대해 평점과 리뷰 내용을 추출하여 CSV에 저장합니다. for comment in comments: # 평점 추출 (존재하는 경우) rating_div &#61; comment.find('div', class_&#61;'ratings') rating &#61; rating_div.text.strip() if rating_div else &#34;평점 없음&#34; # 리뷰 내용 추출 (존재하는 경우) review_text_p &#61; comment.find('p', class_&#61;'desc_txt') review_text &#61; review_text_p.text.strip() if review_text_p else &#34;리뷰 내용 없음&#34; # CSV 파일에 쓰기 writer.writerow([rating, review_text]) # 여러 개의 URL 목록url_list &#61; [ 'https://movie.daum.net/moviedb/grade?movieId&#61;122193' # 추가적인 URL들...] # 각 URL에 대해 리뷰 가져와서 CSV 파일로 저장for url in url_list: scrape_reviews_from_url(url)

shintwl · Answer

다음에서 이런 접근을 차단하고 있을 수도 있습니다스크래핑의 주 대상이 되는 거의 모든 사이트가 차단합니다 (구글, 아마존, 페이스북, 네이버, 쿠팡 등등등)

집킨 · Answer

https://velog.io/@keejuneman/Crawling-%ED%81%AC%EB%A1%A4%EB%A7%81-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-2-1-%EB%8B%A4%EC%9D%8C-%EC%98%81%ED%99%94-%EB%A6%AC%EB%B7%B0-%ED%81%AC%EB%A1%A4%EB%A7%81누군가 성공했네요

다음(daum) 영화 사이트에서 한글 리뷰 데이터 수집 크롤링 질문

2개의 답변

기술 목록