서버 환경에서 스크래핑 질문

Question

Jsoup이나 HtmlUnit으로 로컬 환경에서 특정 사이트에 접속할 때는 정상적인 응답을 받습니다.Ubuntu나 AWS Linux와 같은 서버 환경에서 요청을 하면 에러 응답이 아니라, 아예 무응답입니다.curl로 해당 웹사이트 접근 시에는 정상 접근되는 걸로 봐서는 IP밴은 아닌 듯한데...user-agent 설정도 정상적으로 해주었고 또 고려해봐야 할 사항이 무엇이 있을까요?조언 부탁드립니다....

현자타임 · Answer

curl로 접속이 되니 인터넷 연결 문제는 아닌 것 같고 네트워크 속도가 느려 응답을 늦게 오는 것일 수도 있어요. 로컬 환경에서는 보통 네트워크 속도가 빠르니 바로 화면에 뜨겠지만 리눅스, 우분투 클라우드 서버 환경에서는 네트워크 속도에 따라 느리게 응답하기도 해요~

서버 환경에서 스크래핑 질문

1개의 답변

Q&A 목록