python wget 웹크롤링 [Errno 2] No such file or directory:

Question

안녕하세요.정말 손을 쓸 수 없는 문제가 있어서 이렇게 질문을 드립니다.원하는 것 :위의 페이지 크롤링.링크 : https://commons.wikimedia.org/wiki/Category:%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8wget 에 줄 링크 가져온 법 :증상 :특정 URL 에서 다운이 되지 않습니다. 같은 위키문서 안 다른 페이지는 되는 경우가 다수입니다.되는 페이지 : https://commons.wikimedia.org/wiki/Category:%E8%AA%AA%E9%83%9B%E7%BA%8C예를 들면 wget 에 집어넣어 안되는 페이지 url 은 다음과 같습니다.https://upload.wikimedia.org/wikipedia/commons/8/82/SSID-10059868_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A_%E7%AC%AC1%E8%BC%AF_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A309%E7%A8%AE%E6%8F%90%E8%A6%81_%E5%85%A8.pdf해당 자료가 들어있는 wiki 는 다음과 같습니다.(좌측 상단 첫 번째 문서입니다. https://commons.wikimedia.org/wiki/Category:%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A다음과 같은 에러메세지가 출력됩니다.[Errno 2] No such file or directory: 'C:\start_automation\crawling_job\SSID-10059868_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A_%E7%AC%AC1%E8%BC%AF_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A309%E7%A8%AE%E6%8F%90%E8%A6%81_%E5%85%A8.pdf.aubcu6cl.tmp' 경로의 문제인가 싶어 절대 경로?를 GPT 의 도움으로 설정했는데 그래도 되지를 않습니다.아래는 작성코드입니다.import os import wget def download_file(url, save_path): try: print(&#34;Downloading file...&#34;) wget.download(url, save_path) print(&#34;
Download complete!&#34;) except Exception as e: print(f&#34;An error occurred: {e}&#34;) if __name__ &#61;&#61; &#34;__main__&#34;: # URL of the file to download #안되는 URL file_url &#61; &#34;https://upload.wikimedia.org/wikipedia/commons/8/82/SSID-10059868_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A_%E7%AC%AC1%E8%BC%AF_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A309%E7%A8%AE%E6%8F%90%E8%A6%81_%E5%85%A8.pdf&#34; #되는 URL # file_url &#61; &#34;https://upload.wikimedia.org/wikipedia/commons/8/8c/SSID-10059884_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A_%E7%AC%AC2%E8%BC%AF_21_%E5%8F%B0%E6%B5%B7%E4%BD%BF%E6%A7%8E%E9%8C%84.pdf&#34; # Specify an absolute path for saving the file save_location &#61; os.path.join(os.getcwd(), &#34;downloaded_file.djvu&#34;) # Call the function to download the file download_file(file_url, save_location) [Errno 2] No such file or directory: 'C:\start_automation\crawling_job\SSID-10059868_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A_%E7%AC%AC1%E8%BC%AF_%E5%8F%B0%E7%81%A3%E6%96%87%E7%8D%BB%E5%8F%B2%E6%96%99%E5%8F%A2%E5%88%8A309%E7%A8%AE%E6%8F%90%E8%A6%81_%E5%85%A8.pdf.6zra6_h5.tmp'더 코드를 간략하게 짜보면 더 많은 오류 메세지를 보여줍니다.코드import wget url&#61;'https://upload.wikimedia.org/wikipedia/commons/a/a7/CADAL06210101_%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8%EF%BC%9A%E6%98%93%E5%9C%96%E6%A2%9D%E8%BE%AE%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8%EF%BC%9A%E8%99%9E%E6%B0%8F%E6%98%93%E4%BA%8B.djvu' wget.download(url) 에러메시Traceback (most recent call last): File &#34;c:\start_automation\crawling_job\download_test.py&#34;, line 6, in <module> wget.download(url) File &#34;C:\Users\sa031\AppData\Local\Programs\Python\Python311\Lib\site-packages\wget.py&#34;, line 303, in download (fd, tmpfile) &#61; tempfile.mkstemp(&#34;.tmp&#34;, prefix&#61;prefix, dir&#61;&#34;.&#34;) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File &#34;C:\Users\sa031\AppData\Local\Programs\Python\Python311\Lib	empfile.py&#34;, line 341, in mkstemp return _mkstemp_inner(dir, prefix, suffix, flags, output_type) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File &#34;C:\Users\sa031\AppData\Local\Programs\Python\Python311\Lib	empfile.py&#34;, line 256, in _mkstemp_inner fd &#61; _os.open(file, flags, 0o600) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ FileNotFoundError: [Errno 2] No such file or directory: 'C:\start_automation\crawling_job\CADAL06210101_%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8%EF%BC%9A%E6%98%93%E5%9C%96%E6%A2%9D%E8%BE%AE%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8%EF%BC%9A%E8%99%9E%E6%B0%8F%E6%98%93%E4%BA%8B.djvu.x48mnfnm.tmp'도움 주시면 정말 감사하겠습니다. 마지막 관문인데 너무 어렵습니다.짐작 :에러 코드의 '.pdf.aubcu6cl.tmp' 의 이 .tmp 부분이 문제인가 온갖 생각이 다 듭니다.URL 의 길이 문제?시도해본 것 : 1. 구글링 2. 스텍오버플로우 질문 3. ChatGPT 활용도움 주시면 정말 감사하겠습니다.

allinux · Answer

wget 모듈의 문제는 확인했고 더 근본적으로 http 의 상태를 보려고 requets 로 해보니 문제가 없네요.requests 로 해보니 문제가 없음import requests url = 'https://upload.wikimedia.org/wikipedia/commons/a/a7/CADAL06210101_%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8%EF%BC%9A%E6%98%93%E5%9C%96%E6%A2%9D%E8%BE%AE%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8%EF%BC%9A%E8%99%9E%E6%B0%8F%E6%98%93%E4%BA%8B.djvu' headers = {'User-Agent':'Mozilla/5.0'} contents = requests.get(url, headers=headers) with open('download.djvu', 'wb') as f: f.write(contents.content)wget 모듈에서는 아래와 같이 하면 문제가 없습니다.import wget from urllib import parse url = 'https://upload.wikimedia.org/wikipedia/commons/a/a7/CADAL06210101_%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8%EF%BC%9A%E6%98%93%E5%9C%96%E6%A2%9D%E8%BE%AE%E7%9A%87%E6%B8%85%E7%B6%93%E8%A7%A3%E7%BA%8C%E7%B7%A8%EF%BC%9A%E8%99%9E%E6%B0%8F%E6%98%93%E4%BA%8B.djvu' wget.download(parse.unquote(url))음...정확한 원인은 wget 모듈의 코드를 읽어봐야하겠네요.

python wget 웹크롤링 [Errno 2] No such file or directory:

1개의 답변

Q&A 목록