안녕하세요. 웹 크롤링으로 이미지를 수집하는 과정에서 문제가 생겨 질문드립니다.

Question

이 코드를 실행하면 사진이 다운받아지긴 하는데 제가 원하는 사진만큼 다운받아지지 않고 20장째에서 자꾸 멈춥니다. 혹시 어떤 점이 문제인지 알 수 있을까요?import requests from bs4 import BeautifulSoup import re import os import time def crawl_images_with_delay(keyword, num_images, download_path): # 이미지를 검색할 웹 페이지 URL url &#61; f'https://www.google.com/search?q&#61;{keyword}&tbm&#61;isch' # 웹 페이지 내용을 가져옴 response &#61; requests.get(url) soup &#61; BeautifulSoup(response.text, 'html.parser') # 이미지 URL을 담을 리스트 image_urls &#61; [] # 이미지 태그를 찾아서 이미지 URL을 리스트에 추가 for img in soup.find_all('img'): src &#61; img.get('src') if src: # 이미지 URL이 상대경로인 경우에는 절대경로로 변경 if src.startswith('/'): src &#61; 'https://www.google.com' &#43; src image_urls.append(src) # 중복된 이미지 제거 image_urls &#61; list(set(image_urls)) # 다운로드 경로가 존재하지 않으면 생성 if not os.path.exists(download_path): os.makedirs(download_path) # 이미지 다운로드 downloaded_count &#61; 0 for i, url in enumerate(image_urls): if downloaded_count >&#61; num_images: break download_image(url, os.path.join(download_path, f'{keyword}_{downloaded_count}.jpg')) downloaded_count &#43;&#61; 1 time.sleep(0.5) # 요청 간의 지연 추가 (예: 0.5초) def download_image(url, filename): response &#61; requests.get(url, stream&#61;True) if response.status_code &#61;&#61; 200: with open(filename, 'wb') as file: file.write(response.content) print(f'Downloaded {filename}') else: print(f'Failed to download {url}') # 예시 사용법 keyword &#61; 'mask people wearing medical masks' num_images &#61; 200 download_path &#61; 'images_with_delay' crawl_images_with_delay(keyword, num_images, download_path)

kenu,전독시 · Answer

# 이미지 태그를 찾아서 이미지 URL을 리스트에 추가 for img in soup.find_all('img'): src = img.get('src') if src: # 이미지 URL이 상대경로인 경우에는 절대경로로 변경 if src.startswith('/'): src = 'https://www.google.com' + src image_urls.append(src) print(f'Found {len(image_urls)} images') # 중복된 이미지 제거 image_urls = list(set(image_urls)) image_urls가 21로 찍히네요.

MungGaeDev · Answer

구글 이미지검색의 경우 무한스크롤로 작동하고, bs4를 이용할 경우 초기 로딩 분 밖에 이미지를 못 불러 옵니다.Selenium으로 화면 스크롤 되게 크롤링 하세요.

안녕하세요. 웹 크롤링으로 이미지를 수집하는 과정에서 문제가 생겨 질문드립니다.

2개의 답변

기술 목록