웹 정보 스크랩 질문

Question

현재 파이썬으로 단순하게 특정 쇼핑몰의 특정 상품 url을 이용하여 가격정보를 스크랩하여 가져오려고 하는데요.여기서 가격정보는 javascript가 실행된 후 데이터를 가져올 수 있기때문에, 셀레니움을 이용하여 특정 태그가 생성될 때까지 대기후 데이터를 가져오는 방식으로 테스트를 해봤습니다.그런데 스크랩하려는 링크의 수가 늘어나면 가격정보를 스크랩할 때 까지의 시간이 너무 많이 소요되어서 다른 방법을 찾아보고 있는데 도움이 될만한 정보를 찾지를 못했습니다.해당 페이지에 필요한 자바스크립트 자체를 다운받아 js파일로 저장한 후 파이썬 코드를 통해 node js 로 실행하는 방법도 시도해 봤는데 잘 되지 않았습니다.혹시 해당 문제에 대해서 속도를 높일 수 있는 해결책을 알고계신 분 있으시면 조언 부탁드립니다.

캐티 · Answer

조건 없는 해결책을 원하신다면 컴퓨터를 만대 사용하면 되겠쩌. 휴대폰을 만 개 준비하고 동시에 구동하여도 동일한 효과를 가질 것이빈ㄷ.

웹 정보 스크랩 질문

1개의 답변

Q&A 목록