크롤링 쿠키로 세션 유지 관련 질문드립니다.

Question

공인인증이 들어가는 공단 관련 크롤링을 해 보고 있는데요. 패킷 분석해서 로그인 하는 부분은 능력이 되지 않아 시도해 보지 않았고 셀레니움으로 로그인 한 후 쿠키를 저장한 다음 그걸 재사용하는 걸 해 보고 있거든요. 쿠키가 있으니 일단 기존 로그인 된 브라우저는 종료하고 셀레니움으로 쿠키 파일을 생성했던 url에 접속한 후 쿠키를 삽입한 다음 drvier.refresh() 해 줬는데 로그인으로 변경되지 않더라구요. 다른 방법으로, requests를 이용해서 마찬가지로 session.get으로 동일 url에 쿠키를 담아 연결해 보았지만마찬가지로 세션을 유지 못 했습니다. 인터넷에 찾아보면 네이버나 인스타그램 등을 이렇게 간단하게 세션유지하시던데, 원래 공인인증이 들어가는 공단 같은 곳은 안 되는 걸까요?크롤링 업체 같은 데 보면 이런 공인인증 기반의 공단 사이트들도 자체 로그인 후 쿠키를 넘겨줘서 그걸로 세션 유지하며 필요한 내용 파싱해라~ 이렇게 돼 있던데..어떤 부분을 공부해 보고 체크해 봐야 할지 조언 부탁드립니다.

톰소여 · Answer

공인인증이 들어가는 공단 관련 크롤링?정부 사이트인가요?안하는 것이 좋습니다.네이버나 인스타 대상으로만 하세요.ip 차단 먹으면 해당 정부 사이트 이용도 막힙니다.

크롤링 쿠키로 세션 유지 관련 질문드립니다.

1개의 답변

Q&A 목록