위키피디아, AI 기업들에 콘텐츠 접근 비용 지불 촉구

xtalfi

11.11 15:01

(퍼플렉시티가 정리한 기사)

위키미디어 재단은 월요일 인공지능 기업들에게 위키백과 콘텐츠 스크래핑을 중단하고 대신 유료 위키미디어 엔터프라이즈 플랫폼을 사용할 것을 촉구하는 공개 호소문을 발표했다. 이는 비영리 단체가 감소하는 인간 트래픽과 기부 기반 자금 모델을 위협하는 급증하는 봇 활동으로 어려움을 겪고 있기 때문이다.

이 조직은 탐지를 회피하는 AI 봇들이 5월과 6월에 비정상적으로 높은 트래픽 급증을 일으켰으며, 인간 페이지 조회수는 전년 대비 8% 감소했다고 밝혔다. 위키미디어 재단에 따르면, AI 기업들은 위키백과의 인간이 큐레이션한 콘텐츠에 대해 적절한 출처 표시를 제공하고, 사이트 서버에 과부하를 주지 않으면서 구조화된 데이터 피드를 제공하는 엔터프라이즈 API를 통해 비영리 단체에 보상해야 한다.

인간으로 위장한 AI 봇이 인프라에 부담을 주다

봇 탐지 시스템을 업그레이드한 후, 위키피디아는 정교한 AI 크롤러들이 식별을 피하기 위해 인간 방문자인 척 위장하고 있었다는 사실을 발견했다. 대형 언어 모델을 훈련시키는 기업들의 자동화 트래픽 급증으로 인해 비영리 조직의 인프라가 압박을 받고 있으며, 멀티미디어 콘텐츠 다운로드에 사용되는 대역폭은 2024년 1월 이후 50% 증가했다.

"사람들이 인터넷에서 공유되는 정보를 신뢰하려면, 플랫폼이 정보의 출처를 명확히 하고 이러한 출처를 방문하고 참여할 기회를 높여야 합니다,"라고 위키미디어 재단은 블로그 포스트에서 밝혔다. "위키피디아 방문자가 줄어들면, 콘텐츠를 성장시키고 풍요롭게 하는 자원봉사자들이 더 적어지고, 이 작업을 지원하는 개인 기부자들도 감소할 수 있습니다."

Semrush에 따르면 전 세계에서 일곱 번째로 많이 방문되는 웹사이트인 위키피디아는, 2023-2024 회계연도에 1억 7,900만 달러의 예산으로 운영되며 주로 기부금에 의존한다. 사용자를 위키피디아로 유도하지 않고 직접 답변을 제공하는 AI 기반 검색 도구로의 전환은, 사이트에서 기부 요청을 볼 방문자가 줄어들기 때문에 이러한 자금 조달 모델에 실존적 위협이 되고 있다.

구글, 2022년 협약 체결, 다른 AI 거대 기업들은 침묵

Google과 Internet Archive는 2022년 상용 서비스가 출시되었을 때 Wikimedia Enterprise의 첫 고객이 되었으며, Google은 대규모 Wikipedia 콘텐츠에 대한 구조화된 접근에 대해 비용을 지불하기로 합의했습니다. 이 플랫폼은 사용량에 따라 가변적인 가격을 제공하며, JSON 데이터, 대량 스냅샷, 서비스 수준 보장이 포함된 실시간 변경 피드를 제공합니다.

OpenAI, Meta, Microsoft, Anthropic 및 기타 주요 AI 기업의 대표자들은 Wikimedia Foundation의 발표에 대한 논평 요청에 응답하지 않았습니다.

이번 호소는 Wikipedia가 Elon Musk의 Grokipedia와의 경쟁에 직면하고 있는 가운데 나왔습니다. Grokipedia는 10월 말에 출시된 AI 기반 백과사전으로, Musk가 "Wokepedia"라고 부르는 것에 대한 대안으로 포지셔닝했습니다. 이 시기는 또한 출판사와 AI 기업 간의 진행 중인 소송과 일치하는데, 여기에는 The New York Times가 OpenAI와 Microsoft를 상대로 제기한 소송이 포함되며, 이는 수백만 개의 뉴스 기사를 허가 없이 AI 모델 훈련에 사용한 저작권 침해 혐의에 관한 것입니다.