크롤링좀 도와주세요

Question

import pandas as pdfrom bs4 import BeautifulSoupfrom bs4 import Tag, NavigableStringdata = {}# 'divs' 리스트에서 각각의 'div' 태그에 대해 반복합니다.for div in divs: # 'strong' 태그를 찾습니다. if isinstance(div, NavigableString): continue elif isinstance(div, Tag): strong_tags = div.findAll('strong') for strong_tag in strong_tags: # 'strong' 태그의 텍스트를 항목 이름으로 사용합니다. title = strong_tag.text.strip() # 'strong' 태그의 부모 요소에서 'p' 태그를 찾습니다. p_tag = strong_tag.find_next('p') # 'p' 태그의 텍스트를 내용으로 사용합니다. description = p_tag.get_text().strip() # 추출한 항목과 내용을 딕셔너리에 추가합니다. if title in data: data[title].append(description) else: data[title] = [description]# 데이터 프레임 생성df = pd.DataFrame(data)# 데이터 프레임 출력df이 코드를 조금 수정하고 싶은데 이 코드는 이 html에서 먼저 strong을 찾고 그다음 p값을 찾아서 거기에 알맞게 stong 제목에다가 그 값은 p 이런식으로 gpt한테 물어봤는데하지만 계속 가다보면 이런 식으로 없는
부분만 나와요 그럴 때는 대신에
값을 대신해줘서 데이터 프레임을 만들고 싶은데 어떻게 고쳐야 하나요.......

shintwl · Answer

모든 p 태그에 있는 텍스트를 원하시는 거면 strong 찾고 p 찾고 할 필요 없이바로 p 태그를 찾아서 모으면 될 것 같구요strong 옆의 p와dt 옆의 dd>ol>li>p만을 원하신다면strong 옆의 p를 찾아서 나온 내용을 data 딕셔너리에 추가하시고다시 dt 옆의 dd>ol>li>p를 찾도록 코드 짜셔서 data 딕셔너리에 추가하신 다음에그 data 딕셔너리로 pd.DataFrame(data) 하시면 되지 않을까 싶습니다

크롤링좀 도와주세요

1개의 답변

Q&A 목록