Cloudflare의 새 정책, AI 기업에 콘텐츠 비용 지불 압박
Cloudflare의 혼합 용도 크롤러 기본 차단 정책
2026년 9월 15일부터 광고가 있는 페이지에서 “혼합 용도” 크롤러를 기본 차단 예정
전통적 검색 목적 크롤러와 AI 에이전트·학습용 크롤러 분리 요구
Google Search 같은 검색용 크롤러와 AI 에이전트·학습용 크롤러를 구분하라는 새 기한 제시
검색, 에이전트 사용, 학습을 섞는 크롤러는 사이트 소유자가 설정을 바꾸지 않는 한 기본적으로 해당 사이트 크롤링 불가
신규 Cloudflare 고객, 기존 고객이 새로 설정한 사이트, 기존 무료 고객 전체에 기본값 변경 적용
AI 모델 제공업체의 웹 콘텐츠 접근 방식에 영향 가능
학습 목적 콘텐츠 접근
에이전트형 서비스 구동을 위한 콘텐츠 접근
웹사이트 소유자 보호와 Google 관련 쟁점
Cloudflare는 웹사이트 소유자가 검색과 AI 서비스에서 콘텐츠 발견 가능성을 원하면서도 지식재산이 무료로 제공되는 일은 막고 싶어 한다고 짚음
“세계 최대 검색 엔진”이 다른 AI 기업보다 약 “2배 더 많은 정보”에 접근한다고 지적
검색 대기업이 고객에게 검색 노출 유지와 AI 사용 배제를 동시에 어렵게 만드는 구조임
문맥상 Google을 가리키는 표현
Google은 과거 이런 일반화에 반박한 바 있음
사이트 소유자가 Gemini Apps와 Vertex API 같은 학습·AI 제품·서비스 사용을 거부할 수 있는 Google Extended 봇 제공
Google Extended 사용은 Google Search 포함 여부에 영향 없음
대표 Googlebot은 Search용으로 크롤링하며, AI Overviews와 AI Mode 같은 AI 기능도 포함
AI 트래픽 증가와 크롤러 분리 유도
Cloudflare CEO 발표 기준, 인터넷 트래픽의 다수가 봇 트래픽이 된 만큼 더 빠른 조치가 필요함
온라인에서 봇 트래픽이 처음으로 인간 트래픽을 넘어선 최근 이정표 언급
이 변화는 내년에야 발생할 것으로 예상됐음
새 도구와 파트너십은 웹사이트 소유자의 가시성과 상업적 기회를 늘리고, 의도가 명확하고 투명한 봇을 운영하는 AI 기업에도 이익을 제공함
제안된 기본값 변경으로 혼합 용도 크롤러가 검색을 에이전트 사용·학습과 분리하도록 유도하려는 목적
퍼블리셔 통제 도구와 유료화 모델 확장
Cloudflare는 사용자가 자체 AI 시스템을 출시하도록 돕는 제품도 제공하지만, AI 시대에 퍼블리셔가 콘텐츠를 더 통제할 수 있는 도구도 출시해옴
최근 몇 년간 AI 봇 대응 도구를 출시
웹사이트가 AI 봇의 스크래핑에 요금을 부과할 수 있는 Pay Per Crawl 마켓플레이스 포함
Pay Per Crawl은 “Pay Per Use”로도 발전 중
콘텐츠가 단순히 가져와질 때뿐 아니라 가치를 만들 때 AI 기업에 요금을 부과할 수 있는 구조
대역폭·컴퓨팅 절감과 초기 파트너 적용
Cloudflare 데이터 기준, AI 크롤러 크롤 트래픽의 50% 이상이 변경되지 않은 페이지를 다시 가져오는 데 사용됨
퍼블리셔의 대역폭과 AI 모델 제공업체의 컴퓨팅 자원 절감 가능
초기 실행 파트너는 Ceramic.ai와 You.com
퍼블리셔가 옵트인하면 콘텐츠가 Ceramic의 AI 검색 결과에 나타날 때 보상 지급
You.com이 프리미엄 콘텐츠 일부에 접근할 때 보상 지급
다른 AI 기업도 각자 운영 방식에 맞춰 이 모델을 맞춤화 가능함
