악성 봇과 크롤링이 사람을 미치게 만드네요
4년전에 사이드 프로젝트로 홈페이지를 만들어서 AWS에서 운영하고 있습니다.
한동안은 아는 사람들에게만 공유하면서 사용하고 있었는데 이게 입소문을 타더니 점점 트래픽이 늘어나더군요.
그러던 와중에 4월 즈음에 평소에 10만원 안쪽으로 나오던 AWS 요금이 20만원을 훌쩍 넘게 나오는 일이 벌어졌습니다.
무슨 일인가 싶어서 여러가지를 조사해보니 페이스북, Bing등 여러 봇에서 분당 수백번이 넘게 페이지들을 긁어간 로그가 발견되었습니다.
한참을 고민하던 끝에 구글봇만 남기고 나머지는 robots에서 차단하고 그것도 안되면 CIDR 주소를 찾아내서 해당 대역을 모두 차단하는 식으로 대응했는데, 그때부터 여기저기서 악성 봇들이 사방에서 달라붙기 시작했습니다.
구글에 어뷰징 리포트 한것도 두번이고 AWS에서 들어온 악성 크롤링도 몇번 찾아내서 어뷰징 신고를 해도 얼마후에 다른 서버로 똑같이 들어오고 있네요. 몇일 전에는 초당 100번에 육박하는 비율로 10분 동안 봇이 쳐들어와 서버가 멈춰버리는 일까지 벌어지니 이 사이트를 계속 운영해야 되나라는 회의감까지 드네요.
어느 링크 모음 사이트에 가보니 이런 문구를 본적이 있습니다.
' 인터넷은 이기적인 공간이 아닙니다. 이타적인 공간입니다.'
보고 있으려니 헛웃음만 나왔습니다.
크롤링과 관련된 책도 많이 나와있고, 학습적인 목적의 크롤링은 상관없다는 얘기도 있지만 그런 앱들이 모여 하나의 사이트에 동시에 들어가면, 만약 그 사이트가 소규모의 사이트라면 그건 더이상 선의로 봐줄 단계를 넘는다는 생각이 듭니다.
오늘도 로그보면서 IP 차단 목록을 만드는 중에 주저리주저리 글을 남겨봅니다.
