AI가 위험한 진짜 이유

이미 웹사이트 운영하고 있는 분들은 다 아실 겁니다. OpenAI의 ChatGPT 출시 이전에도 봇 트래픽이 심했지만, LLM이 나온 후 너도 나도 크롤링해서 LLM 훈련 시키려고 봇 트래픽이 더욱 더 심해지고 있습니다.

https://okky.kr/articles/1520510

이 글 작성한지 거의 반년이 다 되어가네요. 신경 안쓰고 살고 있다가, 어느 날 서버 들어가 보니 웹서버 로그가 몇기가 씩이나 넘치는 것을 보고 로그를 하나하나 살펴보니,

HTTP/1.1" 200 6204 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like 
Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)" 
HTTP/1.1" 200 17567 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" "52.14.6.24"
64.252.107.222 - - [11/Feb/2025:00:13:11 +0000] "GET 
HTTP/1.1" 200 5 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36" "44.212.106.171"

AI 회사와 검색엔진 크롤러들이내 코드를 긁어가면서, 무슨 루프에 빠져서 저렇게 트래픽을 많이 발생시키는 것이었음. 처음에는 그냥 AI 크롤러 IP 주소를 차단할까 생각하다가, AI 회사가 아닌 다른 일반 크롤러들도 저 행동을 보이는 패턴을 발견해서, 좋은 해결 방안이 아니라고 판단했음. 크롤러에 버그가 있어서 저러겠구나 생각했음. 엄밀히 따지면, 구글 크롤러 같이 좀 신경써 만든 크롤러는 저렇게 무한으로 링크 타지 않게 이 edge case를 잘 설계 했겠지. AI 회사들이 최근에 크롤링 시작하면서 저급 수준의 크롤러를 가져다 써서 생긴 문제로 보임.

확인해 보니, nginx에 URI 인코딩 하는 설정에 버그가 있어서 cgit 페이지에 무한정 늘어나는 링크가 존재하고 있었음. 일단 설정은 버그가 있는 nginx 기능을 쓰지 않는 쪽으로 패치를 함.

혹여나 해서, AWS 콘솔을 확인해 보니,

내 웹사이트에는 2GB치의 컨텐츠가 없음. 저게 다 봇이 링크 무한정 타면서 발생시킨 트래픽이라는 의미임.

내 사이트 설정은 뭐가 다른지 확인하려고, git.kernel.org를 돌아다녔음. AI 회사들이 코드 긁어가는 트래픽이 심해졌는지, 개방성을 유지하던 git.kernel.org 마져도 최근 봇 차단 captcha를 넣은 듯 함.

내 코드 그리 좋은 코드가 아닌데. 그렇게 긁어가서 어디다 쓰시려고들 긁어가시나? 이렇게 내 컨텐츠 긁어 가는건 좋은데, 그렇게 신나게 긁어가서 좋은 AI 모델이라도 만들면 다행인데, 아직 LLM들 하나같이 여전히 제대로된 수준높은 프로젝트 하나 못 관리하는 상황이네요. 그 수많은 GPU 돌리면서 에너지만 낭비하는게 아닌지.

나도 좀 그 AI로 득 볼 날이 오려나요?

사는얘기 목록