Jsoup 사용시 CPU 리소스 이슈

Question

java applicarion으로 만들어진 크롤러에서 링크 파싱을 jsoup을 사용하고 있습니다. 환경은 리눅스 상에 올려 놓고 사용하고 있는데요 jsoup linkList 예제 처럼 a href, media, meata, area 정도 추출하고이는데요 태그선택 후 루프시 CPU 리소스를 엄청 사용하네요.. 크롤러 모듈이 총 5개인데 5개 모두 구동시 CPU가 100% 치는 상황이라 난감합니다... Sleep으로 완급을 조절해 보았지만 이것 역시 미봉책이고.. 혹시 jsoup cpu 리소스 사용량을 줄일 방법이 없을까요? 옵션 이라던가.. 아래는 parsing부분 일부입니다. 본문은 phantom.js를 이용해서 가져오고 가져온 html 소스를 jsoup으로 doc에 초기화 하는 방법으로 사용 하고 있습니다.추가적으로 url주소를 바로 넣어 doc를 초기화 하는 것과 html을 doc에 초기화 하는 것이 링크 추출시 dom을 새로 생성해야 한다든지 같은 비용 차이가 있을까요? 없을 것 같지만.. 작은 가능 성이라고 붙잡아야 하는 상황이라 .. 제가 코드를 잘 못 쓴건 아닌지.. 조언 부탁 드립니다. 혹시 추가 적으로 속도 보다는 리소스를 적게 먹는 파싱 방법이나 라이브러리가 있다면 추천 부탁 드립니다. 링크 정도만 추출하면 딥니다... 감사합니다. private void parseFromHtml(Document doc) throws InterruptedException { Elements links &#61; doc.select(&#34;a[href]&#34;); Elements metas &#61; doc.select(&#34;meta[content]&#34;); Elements areas &#61; doc.select(&#34;area[href]&#34;); for (Element src : areas) { String url &#61; src.attr(&#34;href&#34;); String absUrl &#61; src.attr(&#34;abs:href&#34;); linkSave(url, absUrl); } for (Element src : metas) { String link &#61; src.attr(&#34;content&#34;); String [] split &#61; link.split(&#34;&#61;&#34;); if(split.length >&#61; 2) { String eUrl &#61; link.split(&#34;&#61;&#34;)[1]; linkSave(eUrl,eUrl); } } for (Element link : links) { String url &#61; link.attr(&#34;href&#34;); String absUrl &#61; link.attr(&#34;abs:href&#34;); linkSave(url, absUrl); } }

fender · Answer

프로파일러로 병목 지점을 우선 확인해보시는 걸 추천드립니다. 정확한 위치를 알아야지 최적화 가능 여부도 판단할 수 있습니다.

유리창속바다 · Answer

프로파일러라면 어떤 걸 말씀 하시는지 잘 모르겠습니다.리소스를 모니터링하는 특정 프로그램을 말씀 하시는지 아니면 이클립스의 플러그인인가요..또는 API로 확인 가능 한걸까요...

fender · Answer

이클립스에서도 자체 지원하는 플러그인이 있습니다.개인적으로는 YourKit을 추천합니다만 다른 제품하고 비교해본 게 상당히 오래전이라 그 사이 더 나은 제품이 나왔을 지는 모르겠네요. 트라이얼로도 프로파일은 가능합니다.이클립스 플러그인은 'Test & Performance Tools Platform(TPTP)'라는 프로젝트가 있는데, 아마 이클립스 안에서 바로 찾아서 설치 가능할 것입니다.근데 직감적으로는 jsoup보단 phantom.js 연동이 더 문제일 것 같은 데 정말 루프에서 문제가 되는 게 맞나요? 하긴 프로파일러 돌려보면 해당 내용도 정확하게 판단이 될테니 그 때 생각해도 되겠군요.애초에 왜 phantom.js가 필요했는지 살짝 의문이 들긴 합니다.

유리창속바다 · Answer

phantomjs는 페이지 오픈시 로드되는 모든 리소스 url을 추출하기 위해서 사용하고 있습니다. 파폭의 네트워크 리소스 모니터에 보면 로드되는 모든 리소스가 다 나오듯이 말이요... 사실 로드되는 url들만 알면 되기 때문에.. 팬텀이 아니여도 상관없지만.. 딱히 방법을 몰라 팬텀을 사용하였습니다. 혹시 페이지 오픈시 로드되는 모든 리소스를 가져올 수 있는 방법이 있을까요? 그렇다면 팬텀을 쓰지 않아도 되터인데 말입니다.. .. 알려주신대로 프로파일러를 검색해서 적용해 보고자 하는데 쉽지는 않네요모듈이 원격지(리눅스)상에서 돌고 있고 .. 웹서비스용이 아닌 순수한 java어플리케이션이다 보니 블로그등에 나오는 예제처럼 톰켓이나 이런데 붙일 수 도없고 좀더 예제를 찾아 봐야겠습니다.감사합니다.

fender · Answer

프로파일러 구동을 위해서는 JVM 구동시에 에이전트 경로만 인자로 넘겨주면 되기 때문에 웹 환경이나 독립 실행 환경이나 차이가 없습니다.원하시는 것이 CSS에 포함된 그림 파일등 모든 리소스의 로딩을 추적하는 것이라면 어떻게든 실제 브라우저가 아니면 힘들긴 하겠네요.우선 병목부터 정확하게 확인하는 걸로하고 팬텀.js 쪽의 문제가 확실하다면 자바 기반 브라우저나 다른 대안을 찾아볼 수 있을 것 같습니다.

kine · Answer

Hi this is a site which help you and tell you that if you want likes on facebook page download this apk files auto fb page liker

Jsoup 사용시 CPU 리소스 이슈

6개의 답변

Q&A 목록