코딩 초보자 코드 좀 검토해주세요...ㅜㅜㅜ

Question

대학원생이고 이번에 교수님께서 기사 크롤링하는 프로그램을 만들어와보라는 과제를 주셔서 문과생 노베이스가 처음으로 코딩을 하게 되었습니다...엑셀 파일에 기업 이름들이 저장되어 있는데 자동으로 이 이름을 네이버 뉴스에 검색하여 선택한 날짜에 해당하는 모든 기사를 크롤링해서 엑셀 파일로 저장하는 프로그램을 만들어야 합니다..import requestsfrom bs4 import BeautifulSoupimport timeimport pyautoguifrom openpyxl import Workbookimport pandas as pdfrom openpyxl.styles import Alignmentfrom fake_useragent import UserAgent # 엑셀 파일에서 기업 이름들을 읽어오는 함수def read_company_names(excel_path): # 엑셀 파일을 DataFrame으로 불러옵니다. df &#61; pd.read_excel(excel_path, usecols&#61;&#34;B&#34;) # B열만 사용, 첫 번째 행(헤더) 건너뜁니다. # NaN 값 제거 df &#61; df.dropna() # DataFrame에서 기업명 리스트 추출 companies &#61; df.iloc[:, 0].tolist() return companiesdef crawl_data(keyword, ssdate, sedate): # create xlsx file ws &#61; wb.create_sheet(title&#61;keyword[:30]) ws.column_dimensions['A'].width &#61; 60 ws.column_dimensions['B'].width &#61; 60 ws.column_dimensions['C'].width &#61; 120 # UserAgent 객체 생성 ua &#61; UserAgent() headers &#61; {'User-Agent': ua.random} # variables page_num &#61; 1 row &#61; 1 is_last_page &#61; False while not is_last_page: print(f&#34;{page_num} page...&#34;) start_num &#61; (page_num -1)*10&#43;1 try: response &#61; requests.get(f&#34;https://search.naver.com/search.naver?where&#61;news&sm&#61;tab_jum&query&#61;{keyword}&nso&#61;so:r,p:from{ssdate}to{sedate},a:all&start&#61;{start_num}&#34;, headers&#61;headers) response.raise_for_status() except requests.exceptions.HTTPError as e: print(f&#34;첫 번째 페이지 HTTP 에러 발생: {e}&#34;) break except requests.exceptions.RequestException as e: print(f&#34;첫 번째 페이지 요청 중 다른 에러 발생: {e}&#34;) break # 첫 번째 페이지 요청 에러 시, while 루프 종료 html &#61; response.text soup &#61; BeautifulSoup(html, &#34;html.parser&#34;) articles &#61; soup.select(&#34;div.info_group&#34;) #뉴스 기사 div 10개 추출 for article in articles: links &#61; article.select(&#34;a.info&#34;) if len(links) >&#61; 2: url &#61; links[1].attrs[&#34;href&#34;] try: response &#61; requests.get(url, headers&#61;{'User-agent': ua.random}) # to avoid error use headers html &#61; response.text # for each url get html soup_sub &#61; BeautifulSoup(html, &#34;html.parser&#34;) # for each html make soup except requests.exceptions.HTTPError as e: print(f&#34;HTTP 에러 발생: {e}&#34;) continue # 다음 기사로 넘어갑니다. except requests.exceptions.RequestException as e: print(f&#34;요청 중 에러 발생: {e}&#34;) continue # 다음 기사로 넘어갑니다 try: soup_sub &#61; BeautifulSoup(response.text, &#34;html.parser&#34;) # 기사 내용 파싱 로직 except Exception as e: print(f&#34;기사 HTML 파싱 중 에러: {e}&#34;) continue # 다음 기사로 넘어감 # separation if &#34;entertain&#34; in response.url: # to avoid redirection error title &#61; soup_sub.select_one(&#34;.end_tit&#34;) # get the title content &#61; soup_sub.select_one(&#34;#articeBody&#34;) # get the body elif &#34;sports&#34; in response.url: # to avoid redirection error title &#61; soup_sub.select_one(&#34;h4.title&#34;) # get the title content &#61; soup_sub.select_one(&#34;#newsEndContents&#34;) # get the body # delete unnecessary elements divs &#61; content.select(&#34;div&#34;) for div in divs: div.decompose() paragraphs &#61; content.select(&#34;p&#34;) for p in paragraphs: p.decompose() else: title &#61; soup_sub.select_one(&#34;.media_end_head_headline&#34;) # get the title content &#61; soup_sub.select_one(&#34;#dic_area&#34;) # get the body print(&#34;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;LINK&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;
&#34;, url) print(&#34;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;TITLE&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;
&#34;, title.text.strip()) print(&#34;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;BODY&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;
&#34;, content.text.strip()) # write datas in xlsx file ws[f&#34;A{row}&#34;] &#61; url ws[f&#34;B{row}&#34;] &#61; title.text.strip() ws[f&#34;C{row}&#34;] &#61; content.text.strip() ws[f&#34;C{row}&#34;].alignment &#61; Alignment(wrap_text&#61;True) # line breaking row &#43;&#61; 1 time.sleep(2) # checking where the last page is is_last_page &#61; soup.select_one(&#34;a.btn_next&#34;).attrs[&#34;aria-disabled&#34;] if is_last_page &#61;&#61; &#34;true&#34;: is_last_page &#61; True print(&#34;last page&#34;) page_num &#43;&#61; 1 #프로그램 구현wb &#61; Workbook() excel_path &#61; r'E:\KR MktCap 011124.xlsx'companies &#61; read_company_names(excel_path) # user inputssdate&#61; pyautogui.prompt(&#34;검색시작날짜-8자리 형식&#34;)sedate &#61; pyautogui.prompt(&#34;검색종료날짜-8자리 형식&#34;)for company in companies: crawl_data(company, ssdate, sedate) # 각 기업에 대해 크롤링 수행wb.save(&#34;최종 결과.xlsx&#34;)일단 이렇게까지 해봤는데 엑셀에서 기업 이름을 불러와 선택한 날짜에 해당하는 기사를 찾는 것까지는 곧 잘합니다... 그런데 기사 페이지가 여러 페이지 있음에도 첫페이지에 있는 기사들만 크롤링하고 자동 종료가 되어 버리네요...제가 만드는데 참고한 코드가 있는데 아래 코드에서는 정상적으로 돌아갑니다.import requestsfrom bs4 import BeautifulSoupimport timeimport pyautoguifrom openpyxl import Workbookfrom openpyxl.styles import Alignment# 사용자입력keyword &#61; pyautogui.prompt(&#34;검색어를 입력하세요&#34;)lastpage &#61; int(pyautogui.prompt(&#34;몇 페이지까지 크롤링 할까요?&#34;))# 엑셀 생성하기wb &#61; Workbook()# 엑셀 시트 생성하기ws &#61; wb.create_sheet(keyword)# 열 너비 조절ws.column_dimensions['A'].width &#61; 60ws.column_dimensions['B'].width &#61; 60ws.column_dimensions['C'].width &#61; 120# 행 번호row &#61; 1# 페이지 번호page_num &#61; 1for i in range(1, lastpage * 10, 10): print(f&#34;{page_num}페이지 크롤링 중 입니다.&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#34;) response &#61; requests.get(f&#34;https://search.naver.com/search.naver?sm&#61;tab_hty.top&where&#61;news&query&#61;{keyword}&start&#61;{i}&#34;) html &#61; response.text # html은 response의 text 안에 위치함 soup &#61; BeautifulSoup(html, 'html.parser') articles &#61; soup.select(&#34;div.info_group&#34;) #뉴스 기사 div 10개 추출 # 기사가 10개니까 for문을 써서 하나하나 추출 필요 for article in articles: links &#61; article.select(&#34;a.info&#34;) # a 태그, info class인 아이들을 가져옴. &#61; 리스트 if len(links) >&#61; 2: # 링크가 2개 이상이면 url &#61; links[1].attrs['href'] # 두번째 링크의 href를 추출 # 다시 request 날려주기 response &#61; requests.get(url, headers&#61;{'User-agent': 'Mozila/5.0'}) html &#61; response.text soup_sub &#61; BeautifulSoup(html, 'html.parser') print(url) # 연예 뉴스 체크 if &#34;entertain&#34; in response.url: title &#61; soup_sub.select_one(&#34;.end_tit&#34;) content &#61; soup_sub.select_one(&#34;#articeBody&#34;) elif &#34;sports&#34; in response.url: title &#61; soup_sub.select_one(&#34;h4.title&#34;) content &#61; soup_sub.select_one(&#34;#newsEndContents&#34;) # 본문 내용 안에 불필요한 div, p 삭제 divs &#61; content.select(&#34;div&#34;) for div in divs: div.decompose() paragraphs &#61; content.select(&#34;p&#34;) for p in paragraphs: p.decompose() else: title &#61; soup_sub.select_one(&#34;.media_end_head_headline&#34;) content &#61; soup_sub.select_one(&#34;#newsct_article&#34;) print(&#34;&#61;&#61;&#61;&#61;&#61;&#61;&#61;링크&#61;&#61;&#61;&#61;&#61;&#61;&#61; 
&#34;, url) print(&#34;&#61;&#61;&#61;&#61;&#61;&#61;&#61;제목&#61;&#61;&#61;&#61;&#61;&#61;&#61; 
&#34;, title.text.strip()) print(&#34;&#61;&#61;&#61;&#61;&#61;&#61;&#61;본문&#61;&#61;&#61;&#61;&#61;&#61;&#61; 
&#34;, content.text.strip()) ws[f'A{row}'] &#61; url # A열에는 URL 기입 ws[f'B{row}'] &#61; title.text.strip() ws[f'C{row}'] &#61; content.text.strip() # 자동 줄바꿈 ws[f'C{row}'].alignment &#61; Alignment(wrap_text&#61;True) row &#61; row &#43; 1 time.sleep(0.3) # 마지막 페이지 여부 확인하기 isLastPage &#61; soup.select_one(&#34;a.btn_next&#34;).attrs['aria-disabled'] if isLastPage &#61;&#61; 'true': print(&#34;마지막 페이지 입니다.&#34;) break page_num &#61; page_num &#43; 1wb.save(f'{keyword}_result.xlsx')둘의 차이는 for문이냐 while 문이냐의 차이 말고는 없습니다.. 왜냐하면 유저 에이전트나 에러에 대응하는 코드들 넣기 전부터 첫페이지만 크롤링하는 문제가 지속되었어서,,, 어떻게 해야할지 제발 알려주세요.. 정말 간절히 부탁드려요..

kenu,전독시 · Answer

돔황촤요대학원생이고 이번에 교수님께서 기사 크롤링하는 프로그램을 만들어와보라는 과제를 주셔서 문과생 노베이스가 처음으로 코딩을 하게 되었습니다...노답 같아요.400만원 넘는 등록금 내고, 혼나려고 대학 다니는 건가요?

yeori · Answer

인간적으로 다른 언어도 아니고 무려 파이썬인데...들여쓰기 없애고 코드 올리는 패기에 할 말을 잃었음역시 간절할수록 역지사지가 안되는구나... 다시 한 번 느껴봄

shintwl · Answer

Gpt에한테 물어보세용

개나소나고생 · Answer

이렇게 질문하시면 아무도 답변 안해줘요.

코딩 초보자 코드 좀 검토해주세요...ㅜㅜㅜ

4개의 답변

기술 목록