클라우드플레어 CEO, AI 스크레이퍼가 콘텐츠 창작 위협 경고

(퍼플렉시티가 정리한 기사)

Cloudflare의 CEO인 Matthew Prince는 이번 주 통제되지 않은 인공지능 데이터 스크레이퍼가 인터넷 전반에 걸쳐 콘텐츠 제작에 대한 인센티브를 없앨 수 있으며, 이는 인간 소비자와 훈련을 위한 원본 콘텐츠에 의존하는 AI 기업 모두를 위협할 수 있다는 강력한 경고를 발표했다.

Prince는 리스본에서 열린 웹 서밋에서 AFP에 “근본적인 긴장은 AI 주도의 새로운 인터넷 비즈니스가 트래픽을 생성하지 않는다는 것”이라고 말했다. “봇 무리가 온라인에서 계속 자유롭게 돌아다닌다면, 콘텐츠 제작에 대한 모든 인센티브가 사라질 것입니다. 이는 그것을 소비하고자 하는 우리 인간들뿐만 아니라, 실제로 시스템을 훈련시키기 위해 원본 콘텐츠가 필요한 AI 기업들에게도 손실이 될 것입니다.”

인터넷의 경제 모델을 무너뜨리기

수십 년 동안 웹사이트들은 트래픽과 광고 수익을 대가로 검색 엔진이 자신들의 콘텐츠를 크롤링하도록 허용해왔습니다. 그러나 Google과 OpenAI 같은 기업의 AI 크롤러들은 이제 사람들이 원본 사이트를 방문하지 않은 채 챗봇을 위한 정보를 수집하고 있으며, 이는 기존 모델을 근본적으로 무너뜨리고 있습니다.

데이터 관리 기업 Dataiku의 AI 전략 책임자인 Kurt Muehmel은 “봇에게 콘텐츠 접근 권한을 준 사이트들은 그 대가로 독자를 얻곤 했습니다”라고 말했습니다. “하지만 생성형 AI의 등장은 그 모델을 완전히 무너뜨리고 있습니다.“

그 영향은 이미 가시화되고 있습니다. Wikipedia는 AI 검색 엔진 요약으로 인해 2024년과 2025년 사이에 인간 트래픽이 8% 감소했다고 보고했습니다. 업계 분석에 따르면 AI 기반 검색 요약은 평균적으로 퍼블리셔 트래픽을 20%에서 60%까지 감소시키며, 이는 출판 부문 전체에서 연간 약 20억 달러의 광고 수익 손실로 환산됩니다.

Cloudflare가 조치를 취하다

전 세계 인터넷 트래픽의 20% 이상을 처리하는 Cloudflare는 올해 여름 웹사이트 소유자의 허락이나 대가 없이 컨텐츠에 접근하는 AI 크롤러를 차단하기 위한 조치를 발표했다. 이 시스템은 1,000만 개가 넘는 웹사이트에 적용되며, Prince에 따르면 “인공지능 거대 기업들의 주목을 받고 있다”고 한다.

Prince는 “이것은 기본적으로 제한 속도 표지판이나 출입 금지 표지판을 다는 것과 같다”고 설명했다. “비매너적인 봇들이 이를 우회할 수 있지만, 우리는 그것을 추적할 수 있다. 시간이 지남에 따라, 우리는 AI 기업들이 뚫고 들어올 수 없도록 이 통제를 더욱 강화할 수 있다”.

미국 스타트업 TollBit도 USA 투데이, 타임 매거진, AP 등 5,600개 이상의 사이트와 협력해 온라인 뉴스 발행인들에게 유사한 도구를 제공하고 있다. TollBit의 데이터에 따르면, 2025년 1분기에서 2분기 사이 AI 봇 트래픽이 360% 증가했으며, 올해 초 200명 중 1명이었던 AI 봇 방문자가 이제는 50명 중 1명으로 늘어났다.

Prince는 또한 영국 규제 당국에 구글이 검색 크롤러와 AI 크롤러를 분리하도록 강제하라고 촉구하고 있다. 그는 구글의 통합 방식이 Anthropic, Perplexity와 같은 경쟁사에 비해 부당한 이점을 준다고 주장했다. Prince에 따르면, 구글의 크롤러를 차단하면 미디어 기업의 매출이 약 20% 감소하고 광고 안전 시스템이 중단된다.

Prince는 “문제는 그렇게 하면 결국 게임을 구글에 넘겨주는 결과가 된다는 것”이라고 런던에서 열린 블룸버그 테크 콘퍼런스에서 말했다.