웹크롤링 실패ㅜㅜ

Question

전 웹크롤링을 배우려 하는 고2입니다html이 매우매우 간단한 곳에서는 크롤링이 잘 되는데요,https://luka7.net/btcPrice 클래스를 가진 text 하나 뽑지 못하네요ㅜㅜ 도대체 왜 이러는 걸까요? 주변에 물어볼 곳이 없어 답답하네요ㅡㅜㅜ멀티클래스는 온점으로 이었는데 그 부분에서 문제가 나는 건가요?같은 사이트에서 좀만 더 깊게 들어가면 크롤링이 전혀 안되는 게 뭐 때문인지 전혀 감이 안 잡히네요 3일동안 이 문제에서 막혀버렸습니다 &#43;&#43;&#43;사진 ctrl&#43;V로 첨부했었는데 첨부가 안 되어있네요;;아래는 제 코드입니다. const axios &#61; require(&#34;axios&#34;); const cheerio &#61; require(&#34;cheerio&#34;); const fs &#61; require(&#34;fs&#34;); const log &#61; console.log; const dataPath&#61;&#34;test.json&#34;; console.log(&#34;1완료&#34;); const getHtml &#61; async () &#61;> { try { console.log(&#34;2완료&#34;); return await axios.get(&#34;https://luka7.net/&#34;); } catch (error) { console.error(error); } }; console.log(&#34;3완료&#34;); getHtml() .then(html &#61;> { console.log(&#34;4완료&#34;); let tdList &#61; []; const $ &#61; cheerio.load(html.data); const $bodyList &#61; $(&#34;div.section div#coinList&#34;).children(&#34;div.row.head&#34;); //const $bodyList &#61; $(&#34;div#pairRank &#34;).children(&#34;div.box&#34;); console.log(&#34;5완료&#34;); $bodyList.each(function(i, elem) { //console.log(&#34;5.1s완료&#34;); tdList[i] &#61; { price: $(this).find('div.btcPrice').text(), //price : $(this).find(&#34;h3&#34;).text() //initial: $(this).find('td').text(), }; }); fs.writeFileSync(dataPath,JSON.stringify(tdList)); //const data &#61; tdList.filter(n &#61;> n.title); //return tdList; console.log(tdList) })

추다닥 · Answer

정적인 사이트와 동적인 사이트 차이를 아셔야 합니다. 간단한 사이트의 경우 페이지 로드 할때 데이터포함해서 읽어오는 과정이며, 크롤링 하려고 하시는 사이트의 경우, 실시간으로 코인 정보를 긁어오는 사이트일 것입니다. 여기서 중요합니다. 실시간으로 값이 변화 합니다. 동적으로 값이 변하는 것이기 때문에이 사이트의 경우 처음에는 아무값도 없는 뼈대만 있는 사이트가 나오고, 그 이후 자바스크립트가 돌면서 값을 가져오는 구조입니다.지금 코드를 봤을땐 , 긁어오는 당시에 단순 뼈대만 있으니, 값을 못 긁어오는겁니다.cheerio 를 사용하시게 되면 정적인 사이트는 쉽게 긁어올 수 있으나, 위의 사이트 처럼 동적인 사이트를 긁어오는데 무리가 있습니다. selenium 이용하셔서 값이 받아와 진후 크롤링 진행하는 방식으로 하시면 접근이 가능하실겁니다. 페이지 로딩 대기 > 데이터 파싱 순서로 진행하세요

Cyp · Answer

selenium & chromeDirver 이용하시면 될겁니다.웹 페이지가 다 불려와 졌는지 확인하는 코드를 삽입하셔도 되고파악하기 귀찮으시면 적절히 여유시간을 두셔도 좋습니다.

웹크롤링 실패ㅜㅜ

2개의 답변

#webcrawling 목록