크롤링 전문가님 도와주세요 로봇감지ㅜㅜ 기프티콘드림

Question

뭔가 지금 지식이 부족합니다..제 바로 전글 보면 상황설명이 대충 있는데덫붙여서 다시 설명드리자면로그인하는 과정이 1 2 3 4 가 있다고 하면포스트맨, 파이썬 requests, 혹은 그냥 브라우저 시크릿모드에 피들러켠상태로 시도이런 경우에는 123까지되고 4에서 막힙니다.사이트 보안 개편전에는 그낭 1234 까지됐었는데요.제가 분석해 본 결과 몇가지 방법으로 체크를 하는거 같아요 데이터독?라이브러리 cf뭐시기쓰는 라이브러리 구글에널리스틱으로 간접확인?인거 같아요.. 전부 한꺼번에 그러진않고 상황별로 저리 실제유저 검증이 되는거 같아요.시크릿모드라곤 했지만 그낭 저 검증중에서 준 쿠키가 없으먼 3->4 가는 검증에서 로봇체크 페이지가 추가되고 쿠키를 주는거 같아요 (피들러 켠상태에서만. 그외에는 아무정보없이 들어가도 바로 로그인됨)근데... 헷갈리는게 일단제가 1234 라고 표현한 이유를 알려드리자면requests로 1 2 3 까지 성공후 4하면 실패그러나 123하고 4의 조건 쿠키,유알엘을 그대로 셀레니움으로 넘겨서하면 성공합니다.브라우저에서(js및 추가통신 때문에 생긴) 쿠키도 없고 추가 서버랑 통신도없는데똑같은 데이터로 그냥 로그인이 됩니다?그렇다면헷갈리는게.. 피들러 포스트맨 리퀘스츠..http통신부터 다시배워야 할꺼같긴한데..웹서버에서 뭘 통해서 오는걸 어떻게 감지하는걸까요?피들러는 프록시 통해서 가는거 아는데 나머지도 그러나요?그럼 프록시를 감지하는걸까요??..&#64; 유저에이전트는 잘 설정했습니다.&#64; 일단 프로그램,라이브러리내 추가 변동 없다고 가정시 요청헤더는 100% 같습니다..

chlccc · Answer

상황을 전부다 하나하나 설명드리자니 너무 오래걸리고.. 참 갑갑하네요 두서없이써서 가독성 별로일텐데 이해해주시는분 있으면 좋겠습니다 ㅠㅠ 화면공유하면서 전화로 풀설명 가능합니다

크롤링 전문가님 도와주세요 로봇감지ㅜㅜ 기프티콘드림

1개의 답변

Q&A 목록