파이썬 네이버 웹크롤링 질문입니다.

Question

네이버에서 urllib와 bs4를 이용해 웹크롤링을 하는데요. # -*- coding: utf-8 -*- import urllib2 import bs4 url &#61; 'http://info.finance.naver.com/fund/fundTypeEarningRate.nhn?ivstAreaWorldYn&#61;N' html &#61; urllib2.urlopen(url).read() soup &#61; bs4.BeautifulSoup(html, 'html.parser') title_html &#61; soup.find_all('td',{'class':'type'}) for row in title_html: print [item for item in row.find('a')] 위 코드를 실행하면 한글이 나오는게 아니라[u'\xbd\xc3\xc0\xe5\xc1\xdf\xb8\xb3'] 처럼 크롤링을 해서 인코딩하면 외계어가 나옵니다. 그래서 찾아보니짝수번째 \x를 없애야 한글이 되더라구요.예를들면 [u'\xbdc3\xc0e5\xc1df\xb8b3'] 처럼 변하면 시 0xBDC3 장 0xC0E5 중 0xC1DF 립 0xB8B3이니까 어떻게든 변환은 해볼수 있겠더라구요. 근데 위에 item 부분에 replace가 안 먹기도하고,또 \x를 변환하려니 invalid 라며 변환이 안됩니다. 어떻게 해야 [u'\xbd\xc3\xc0\xe5\xc1\xdf\xb8\xb3'] 이 한글로 뜰 수 있나요? 몇일간 매달려서 설명이 좀 장황했습니다..

인블 · Answer

파이썬 고수님들 도움 주시면 감사하겠습니다~

이민철 · Answer

윈도우 환경(cp949) 에서 동작합니다. 리눅스 기반의 OS에서는 utf-8로 encoding해야 합니다. 근본적인 문제를 해결하기 위해서 python3을 사용하시길 권장드립니다. #!/usr/bin/env python2 # -*- coding: utf-8 -*- import urllib2 import bs4 url &#61; 'http://info.finance.naver.com/fund/fundTypeEarningRate.nhn?ivstAreaWorldYn&#61;N' html &#61; urllib2.urlopen(url).read() soup &#61; bs4.BeautifulSoup(html, 'html.parser') title_html &#61; soup.find_all('td',{'class':'type'}) for row in title_html: print row.find('a').text.encode('euc-kr')

파이썬 네이버 웹크롤링 질문입니다.

2개의 답변

Q&A 목록