nodejs 웹크롤링 중 한글 깨짐 현상, iconv-lite 질문드립니다.

Question

const axios &#61; require(&#34;axios&#34;); const cheerio &#61; require(&#34;cheerio&#34;); const iconv &#61; require(&#34;iconv-lite&#34;); const log &#61; console.log; const getHtml &#61; async () &#61;> { try { return await axios.get( &#34;https://news.naver.com/main/main.naver?mode&#61;LSD&mid&#61;shm&sid1&#61;100&#34; ); } catch (error) { console.error(error); } }; getHtml() .then((html) &#61;> { const content &#61; iconv.encode(html.data, &#34;UTF-8&#34;).toString(); const $ &#61; cheerio.load(content); let data &#61; { mainContents: $(&#34;#right_dailyList > div&#34;).text(), }; return data; }) .then((res) &#61;> log(res));안녕하세요 선배님들!characterSet이 EUC-KR되어있는 네이버 뉴스 페이지 웹크롤링하고자하는데요. 한글이 깨져 출력됩니다. 구글링을 하니 iconv-lite 라이브러리를 위와 같이 사용하던데, 똑같이 한글이 출력되어 나옵니다.어떻게 하면 깨지지 않고 출력될수 있을까요? 좀더 찾아보니.. iconv가 UTF-8 기준이라는데 관련해서 무엇을 더 해야하는 것이 있을까요?감사합니다!

밤아홉시 · Answer

buffer를 넣고 디코딩을 하셔야 하네요.const response &#61; await axios.get(url, { responseType: 'arraybuffer', responseEncoding: 'binary' }); const content &#61; iconv.decode(response.data, 'euc-kr'); 추가로, node.js 11부터는 TextDecoder를 사용할 수 있습니다.const decoder &#61; new TextDecoder('euc-kr'); const content &#61; decoder.decode(response.data);

우리코딩 · Answer

밤아홉시감사합니다! 첫번째 방법으로 해결했습니다.!두번째 방법은 버전이 맞지 않는지 code: 'ERR_INVALID_ARG_TYPE' 에러가 뜨네요 ㅠ

nodejs 웹크롤링 중 한글 깨짐 현상, iconv-lite 질문드립니다.

2개의 답변

#iconv-lite 목록