nodejs, phantomjs를 사용해서 크롤링을 하려는데요

Question

노드와 팬텀js 둘 다 이번에 처음 그것도 크롤링만을 위해서 임시적으로 사용해 보는 중입니다.CLI에 대한 개념도 부족한 상태입니다. DB에 들어있는 어떤 값을 nodejs로 불러와서 phantomjs에 그 값을 사용해 url을 만들어 크롤링을 해야 합니다. 워낙 간단하게만 하는거라 코드쪽은 문제가 없습니다만 실행을 위해서는 cli창에서 node는 node 파일명.js를 실행. 팬텀은phantomjs 파일명.js을 각각 입력합니다. 각자 둘다 동작은 잘 되긴하는데 제가 궁금한 것은1. cli창을 따로 열어 명령어를 입력하지 않고 웹에서 바로 nodejs와 phantomjs를 사용할 수는 없는지있다면 제가 공부해야할 부분은 어떤 부분인지.2. node를 사용해서 불러온 db값을 phantomjs에서 사용해야 하는데 둘 다 따로 명령을 입력해야해서DB값을 팬텀으로 전달할 수가 없습니다. 방법이 있는지 궁금합니다. 별로 중요한것 같지 않아 대략만 말씀드리면 환경은 php, mac입니다. 질문할때마다 도움주시는 상세하고 친절한 설명에 감사드립니다. 직접적으로 도움주지 않아도 도움이 될까해 글을 읽어주신 분들께도 감사드립니다.

shaffron · Accepted Answer

뭔가 좀 혼용되어있는 느낌인데요... node는 브라우저에서 실행시킬 수 있는 것이 아닌 서버(정확히는 WAS가 되겠죠)에서 자바스크립트를 해석해서 실행할 수 있는 플랫폼입니다. 웹 브라우저에서 어떤 요청을 날려 서버측에서 크롤링하는 프로그램을 만드시려면 아예 서버를 Node.js의 Express로 만들어서 웹 요청을 받고 require로 팬텀JS를 임포트해서 작업을 처리하는게 맞습니다. 현재 구조로 가실려면 웹서버의 요청을 PHP가 받아서 다시 Node에 요청을 보내 크롤링을 하고 완성되면다시 PHP로 리턴을 해주고 PHP는 다시 웹서버를 통해 사용자에게 완료메세지를 보내는 프록시 구조가 되어 효율성이 떨어집니다. 그리고 CLI는 커맨드 라인 즉 명령어로 시작, 정지, 명렁어 실행을 가능하게 해주는 일종의 스크립트에요.Mysql을 예로 들어보면 잠시 Select 테스트를 해보고 싶은데 실제 테스트를 하려면 짧지만 어쨋든 코드를 짜서 테스트를 할 수 밖에 없는데 그걸 그냥 명령어로 해볼수 있는 환경을 제공하는게 CLI입니다.CLI는 어디까지나 편의를 제공하는거지 이걸로 뭘 하는건 맞지 않습니다.

현재 · Answer

Node.js의 Express로 만들어서 웹 요청을 받고 require로 팬텀JS를 임포트해서 작업을 처리하는게 맞습니다. 한 줄에 해결방법이 다 들어있는 것 같습니다. 말씀하신대로 해결해 보겠습니다.감사합니다 :)

현재 · Answer

phantomjs는 js파일을 어디서 구할 수 있나요?실행파일 형태로만 제공되던데 혹시 사이트(http://phantomjs.org/download.html)에 나온 빌드해서 쓰라는게이것인가요?

박종복 · Answer

phantomjs는 브라우저 역할인데 단순한 크롤링일 경우 필요없을 것 같습니다.response HTML을 파싱하기 위한 거라면 node &#43; jquery로도 충분합니다.인증,쿠키등을 다룰거면 request 패키지도 괜찮더군요.https://www.npmjs.com/package/request

현재 · Answer

아 왜냐하면 크롤링하려는 페이지가 동적페이지라서 ajax로 가져오는 부분을 긁어야 해서알아보다보니 팬텀을 사용하게 됐고, 사용해보니 팬텀헤드리스브라우저로 ajax처리 된 화면이 긁어지더라구요그래서 사용중인 상태입니다. 상황 설명을 제가 미리 적지 못했네요 답변 감사드립니다.

현재 · Answer

추가로 질문을 드리면.. 혹시phantomjs 파일명.js 명령어를 자바스크립트 태그 안에서 사용 할 수는 없나요? 개념이 없음을 아무쪼록 용서해주시기 바랍니다.

siva6 · Answer

원하시는게 이거 인 것 같군요. http://blog.saltfactory.net/web-scraping-using-with-node-and-phantomjs/

박종복 · Answer

https://nodejs.org/dist/latest-v6.x/docs/api/child_process.html이렇게 할 수 있지만, https://www.npmjs.com/package/phantom이렇게 하는게 좋습니다.

현재 · Answer

for문을 돌려서 감사드리단 말을 드리고 싶습니다.shaffron님, 박종복님, siva6님.. 사..사.. 감사합니다.

shaffron · Answer

왜 떳떳하게 사랑한다 말하지 못합니까! ♥♡♥♡♥♡♥♡♥♡♥♡

nodejs, phantomjs를 사용해서 크롤링을 하려는데요

10개의 답변

Q&A 목록