當AI公司的爬蟲成為網絡内容的最大“讀者”,一個旨在讓它們為訪問内容付費的新興系統,正得到開源先驅者的謹慎認可。
非營利組織Creative Commons(CC,知識共享)日前宣布,對名為“付費抓取”的新興技術系統表示“謹慎支持”。這一系統旨在通過自動化方式,當AI網絡爬蟲抓取網站内容用于模型訓練時,為内容網站提供補償。
這一表态迅速在出版與科技界引起關注。作為以推動開源共享授權而聞名的組織,CC的立場反映了AI時代内容生态面臨的深刻挑戰:如何在确保AI技術發展的同時,維護内容創作者的可持續性和網絡的開放性。
立場轉變:從免費開放到“謹慎支持”付費
Creative Commons在12月發布的博客文章中首次闡明了其對“付費抓取”系統的立場。
文章寫道,“如果負責任地實施,付費抓取可以成為網站維持内容創作和分享的一種方式,并管理替代性使用,從而讓内容保持公開可訪問,否則這些内容可能不會被分享,或者被更嚴格的付費牆隐藏。”
CC坦承,這一立場與其長期倡導開放網絡的傳統看似相悖。轉變的核心在于AI從根本上改變了機器使用網絡内容的社會契約。
過去,網站允許搜索引擎爬蟲免費索引,以此換取流量。如今,AI模型抓取内容用于訓練後,用戶直接從AI處獲得答案,不再訪問源網站,導緻網站流量和收入銳減。
行業痛點:AI重創流量,小型出版商處境艱難
AI技術對傳統内容生态的沖擊已十分顯著。
例如,美國大型媒體出版商People Inc.披露,其來自谷歌搜索的流量在兩年前占總流量的54%,但在2025年第三季度已驟降至24%。這種流量下滑對依賴廣告收入的出版商是“毀滅性的”。
面對沖擊,大型出版商尚可憑借體量與AI公司談判内容授權協議,如OpenAI與康泰納仕、Axel Springer,亞馬遜與《紐約時報》等達成的交易。但小型網絡出版商則缺乏議價能力,難以達成類似的單獨協議。
“付費抓取”系統的價值在于,它為所有規模的網站提供了一個标準化的、自動化的補償機制,尤其為中小型出版商提供了應對AI沖擊的新工具。
深層考量:支持背後的七項核心原則
盡管表示支持,CC的立場附加了多項重要的前提和警告。
CC指出,付費抓取系統若不加限制,可能加劇網絡權力的集中,演變成類似數字版權管理的監控工具,甚至可能阻礙研究人員、非營利組織、教育機構等公共利益實體的内容訪問權。
為此,CC提出了一套指導“負責任付費抓取”的七項原則:
不應成為默認設置:應由網站自行選擇啟用,而非服務商自動強加。
應支持精細化管理:能夠區分商業AI公司、非營利機構、研究者等不同用戶,設置不同規則。
應允許“限流”而非僅“屏蔽”:在管理流量成本時,不應完全阻斷訪問。
應保障公共利益訪問和合法權利:不能阻礙基于版權例外(如合理使用)的合法内容使用。
應采用開放、可互操作的标準組件:避免形成新的技術壟斷關卡。
應支持對公共資源的集體貢獻:鼓勵資金流向創作者聯盟或更廣泛的數字公共領域。
應避免監控和類DRM架構:最小化數據收集,防止對内容使用進行過度追蹤。
生态構建:巨頭布局與開源标準RSL的興起
“付費抓取”已非概念,多家科技公司正積極布局,構建相關市場。
網絡基礎設施提供商Cloudflare是這一理念的主要推動者之一,其構建的市場允許網站向AI機器人收費。微軟也在為出版商開發貨币化系統,其Copilot助手将成為該市場的首個AI買家。
與此同時,一個名為 “真正簡單授權”(RSL) 的開放标準應運而生,并于2025年9月發布了1.0版本。RSL允許出版商為其内容定義機器可讀的授權條款,包括署名、按抓取付費、按推理付費等。
CC已宣布支持RSL标準,并與RSL Collective合作,在該标準中集成了“貢獻”概念。CC認為,當AI系統從數字公共資源中獲取巨大價值時,“貢獻”不僅僅是補償,更是對使其成為可能的社會契約的參與。貢獻形式可以是資金捐贈,也可以是開源模型或共享數據集。
未來博弈:重塑AI時代的數字内容契約
CC的介入,标志着關于網絡内容價值的博弈進入新階段。
它試圖在兩大陣營間找到平衡:一邊是尋求高質量數據以訓練強大AI模型的科技公司,另一邊是希望其創造性勞動獲得認可和回報的内容創作者。
這場博弈的結果将決定未來網絡的形态——是變成一個高度原子化、處處收費的交易市場,還是能延續其作為共享、混合和創新平台的本質。
CC呼籲各方參與對話,共同影響這些正在被構建的系統的價值觀,使其優先考慮互惠、開放和公共利益。正如CC在其文章中所說,“網絡的未來正通過标準文檔、産品決策和設計選擇被談判決定。”
免責聲明:本文僅代表作者個人觀點,與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實,對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,若因作品内容、知識産權、版權和其他問題,請及時提供相關證明等材料并與我們聯系,本網站将在規定時間内給予删除等相關處理.

