nodejs 크롤링 하는데 조언해주실분 ...

Question

안녕하세요. 지금 nodejs 기반 백엔드 개발자 입니다. 예전에 selenium-webdriver 사용해서 간단하게 인프런 사이트 게시글을 크롤링을 해본적은 있는데 지금 해야하는건 pdf 문서를 주시면서 파싱해서 db에 저장하라고 하셨는데 html로 변환해서 보니깐 태그랑 클래스 구분이 엉망이더 라구요 ... 그래서 진도를 못빼고 있는데 가장 궁금한게 예시로 제1장 인사말 제1조 ①1조첫번째글 ②1조두번째글 제2조 ①2조첫번째글 ②2조두번째글 위 같은 예시에서 db에 저장할때 { title: &#34;인사말&#34;, type: &#34;제1조&#34;, content: &#34;①1조첫번째글 ②1조두번째글&#34; }, { title: &#34;인사말&#34;, type: &#34;제2조&#34;, content: &#34;①2조첫번째글 ②2조두번째글&#34; } 이렇게 저장을 해야하는데 반복문 돌리면 되는건 알지만 어떻게 해야 title값은 공통으로 가게하고 제1조 따로 파싱하고 내용따로 파싱해서 저장을 해야할지 모르겠습니다 ...ㅠㅠ 조언이나 참고하면 좋은사이트 알고 계시는 분 있으시면 도움 부탁드립니다 .....

Clickin · Answer

PDF가 html처럼 class로 구분된다는 생각부터가 좀 잘못되었다고 생각합니다.PDF는 마크업이 아닌 출판에 가까운 포맷인데책 출판할 때 제목에는 제목 태그가 들어가고 그렇진 않잖아요?그냥 구문분석해서 열심히 반복작업으로 파싱하시는 방법밖에 없습니다.

nodejs 크롤링 하는데 조언해주실분 ...

1개의 답변

기술 목록