IIS 에서 봇(크롤링, 스크래핑) 차단 방법있을까요 ?

Question

현재 윈도우 물리 서버를 카페24 호스팅 이용중입니다robot.txt 모두 차단해놔도 자꾸 봇들이들어와서 사이트가 계속 느려져서 관련해서 열심히 찾아보고있습니다.윈도우서버에서 리소스보기 -> 들어온주소보면 naver.com 들어가있거나 googlebot 들어가있더라구요지금까지 봇 (네이버, 애플 구글 등) 오면 ip차단으로했었는데 엄청 많이오니까 이것도 의미가없더라구요..iis url 재작성은 왜인지 동작이 안되어서 (설마 설정하고 재부팅이나 iis 재시작해야하나요?) 이것도 포기했습니다 ㅠㅠ..혹시 관련해서 cloudflare나 다른 솔루션같은게 있을까요 ?cloudflare 최근에는 속도 괜찮은편인지... 이런목적으로 쓰는게 맞는지 궁금해서 질문 남겨봅니다서버나 네트워크 지식이 없는수준이라 혹시 관련 키워드라도 알려주시면 열심히 찾아보겠습니다

feelrip · Accepted Answer

봇인척 하는 웹크롤러는 robot.txt 쌩까고 그냥 와서 긁어갑니다.Cloudflare는 특정 IP에서 발생하는 대량 트래픽을 감지하고 해당 IP등을 차단하는 등 서비스를 제공하기때문에 조치 가능하지만 물리서버를 직접 운영하시는 경우는 조치가 좀 어렵습니다.IIS Dynamic IP Restrictions를 도입하시거나 앞단에 웹방화벽을 설치하는 걸 추천드립니다.

캐티 · Answer

사실 봇 들은 하루 5기가 정도 먹었어요. 한달 150gb 내외. 이거 정도는 방어를 쳐야 하겠쩌. 2023 해에 nightmare 서버를 개발하는데 부하를 견디는 과제는 중요한 거였어요.

정규분포 · Answer

윗분 답변 내용 추가: AI 버블 생긴 이후로 깊이 있는 사이트는 CDN 없이 서비스하기 어렵습니다.크롤링은 주로 통신사 AS에서 오지 않고, 거의 100% 클라우드 AS에서 옵니다. AS 기반 필터링으로 클라우드 업체만 막으면 사실상 99% 봇 트래픽 다 막을 수 있어요. 실제로 구글과 같은 대형 회사가 취하는 방식이고요.https://okky.kr/articles/1531363개인적으로 쓰는 AS 목록: https://github.com/Conticop/bad-asn-list

IIS 에서 봇(크롤링, 스크래핑) 차단 방법있을까요 ?

3개의 답변

Q&A 목록