웹 크롤링 하실때 어떤 도구를 사용하시나요?

Question

현재 셀레니움을 사용하여 5000개 정도의 웹 페이지를 크롤링 하는 로직을 개발중입니다.그런데 프로그램을 작성하다 보니, playwright 가 속도도 더 빠르고 현대 동적 웹사이트에 특화되어 있다하여 적용해보니. 이상할 정도로 차단되는 사이트들이 많았습니다.제 생각에는 셀레니움과 거의 차이없이 크롤링이 가능해야 할텐데, 셀레니움이 2000개 사이트를 병렬로 안정적으로 긁어올동안 playwright는 접근 조차 안되는 사이트들이 많았는데 이유를 모르겠습니다.심지어 별도 봇 차단 로직이 있는 것도 아니고, robot.txt도 철저하게 준수하였습니다. 자바로 구현하는 중이라 다들 파이썬으로 구현하는 통에 정보도 많지 않고.AI는 이런 쪽에 잼병인지, 2천개 사이트에 범용적으로 동작해야 하는 로직에 자꾸, 눈 가리기식 하드코딩을 시도하더군요. 원래 셀레니움보다 playwright가 더 쉽게 차단되는 구조인가요? 경험있으신 다른 분들은 어떤 도구로 개발 하셨는지 궁금합니다.

allinux · Accepted Answer

이유를 알아내야지요. http header 를 잘 보세요. 단순히 접근조차 안된다고 하면 알 수가 없어요. 서버에서 상태코드는 무엇으로 반환하는지…등그리고 어느정도의 http 지식은 필수 입니다. http 는 그렇게 어렵지 않으니 이번기회에 학습한번 해보세요.

나눈궤똥붤레 · Answer

셀레니움이랑 플레이라이트 동작 방식에서의 차이도 있죠 요청 헤더의 값이 문제일수도 있어요 피들러같은 프로그램이나 개발자도구에서 요청, 응답 패킷 단위로 다 따서 확인해보세요 이유가 분명있을거에요

웹 크롤링 하실때 어떤 도구를 사용하시나요?

2개의 답변

Q&A 목록