파이썬 프레임워크 스크래피 관련 질문드립니다.

Question

현재 뷰티풀솝으로 크롤링 로직 작성하여,윈도우 작업 스케줄러, nnSoft (http://www.nncron.ru/) 프로그램 이용해서 자동화 업무 실행 중에 있습니다. 근데 아무래도 단순 로직에 분산으로 스케줄링 되어 처리되다 보니 어떤 곳에 문제가 터지면 관리하기 어렵고, 무한 크롤링을 위해 사설 VPN 이용해 ip 우회하고 진행해서 굉장히 효율이 떨어진다고 생각이 들어서 스크래피 프레임워크 도입해볼까 합니다. 이게 공식 문서에 보니 스크래피 프레임워크 안에서 딜레이 로직을 작성해서 가져오는 것은 있던데,이게 지속적으로 실행되기 위해서는 오픈 소스인 scrapyd 서버를 이용하거나, 클라우드 기반의 Zyte Scrapy Cloud 이 두 가지의 선택이 있던데 제가 이해하고 있는 것이 맞을까요? 자동화 업무를 하다보니 사실 ip 밴을 당하지 않기 위해서도 고민을 해봐야 하는데,이 프레임워크를 이용하면 제가 앞서 말했던 문제들이 해결이 되는지,혹시 경험자분들의 조언을 얻고자 합니다. 이 프레임워크 도입하려면 대규모로 한번 뒤집어야 하는데경험이 없다보니까 확실하게 보고드리기 어렵네요.

파이썬 프레임워크 스크래피 관련 질문드립니다.

0개의 답변

Q&A 목록