Python 크롤링 질문

Question

크롤링을 공부하다 막히는 부분이 있어 질문합니다.파이썬 requests 라이브러리를 사용하여 특정 페이지에 접속하고 그 페이지에 테이블 안에 있는 데이터를 크롤링 하려고 합니다.이때, 메뉴에서 혹은 주소를 입력해 접속하면 get 메소드로 접속이 되고 특정 검색 조건을 설정 후 검색하면 url 주소는 같지만 post 메소드로 접속이 됩니다.저는 이 페이지에 requests.get(url)requests.post(url, data&#61;payload)두가지 방식 모두 시도해 보았습니다.문제점은 다음과 같습니다.웹브라우저로 접속 시 정상적으로 접속되는 페이지입니다. 또한 같은 코드로 다른 메뉴에 페이지들에 시도했을때, 페이지 안에 있는 테이블에 데이터가 있을때 모두 정상적으로 동작합니다.그러나 페이지 안에 있는 테이블에 등록된 데이터가 없는 경우 500 에러가 발생합니다. 테이블 안에 데이터가 없어도 등록된 자료가 없습니다 라는 내용이 페이지에 뜨는데 왜 requests.get 으로는 접속이 안될까요? user-agent , referer 헤더도 추가해보았지만 테이블 안에 데이터가 없다면 500에러를 반환하고 안에 데이터가 하나라도 있으면 200을 반환합니다. 데이터가 없을때 500 이뜨는 이유와 해결방법이 궁금합니다

allinux · Answer

http status 에 대해서 학습하세요.단순히 200 이면 정상이라는 의미며 500 이면 서버측 오류라는 이야깁니다.

Python 크롤링 질문

1개의 답변

#requests 목록