Cloudflare宣布即日起預設封鎖AI爬蟲(crawlers)對網站內容的未授權存取，成為業界首家採用此政策的大型基礎設施公司。網站擁有者現在可以自主決定是否允許AI爬蟲存取，並設定內容使用規則。
政策轉變背景
此項政策代表著網路生態系統的重大轉變。過去，AI開發商可以自由爬取網路內容來訓練大型語言模型，但現在必須明確取得網站擁有者的許可。
Cloudflare執行長Matthew Prince表示：「原創內容是讓網際網路成為上世紀最偉大發明之一的關鍵，創作者必須持續產出內容至關重要。AI爬蟲一直在無限制地爬取內容，我們的目標是將權力交還給創作者，同時協助AI公司創新。這是為了保護自由且充滿活力的網際網路未來，建立一個對所有人都有效的新模式。」
此項轉變反映了市場需求：先前在選擇性系統中，已有超過100萬名客戶選擇限制AI機器人存取，凸顯網站擁有者對內容保護的迫切需要。
新政策運作機制
根據新政策，AI公司現在必須明確說明其爬蟲用途，包括是否用於訓練、推論或搜尋功能，讓網站擁有者能夠根據更詳細的資訊做出決策。
主要特色包括：
- 預設封鎖：AI爬蟲預設被拒絕存取，除非獲得明確許可
- 用途透明化：AI公司須清楚標明爬蟲用途和身份
- 精細控制：網站擁有者可針對不同用途設定不同規則
按爬取付費新模式
Cloudflare同時推出「按爬取付費」(Pay Per Crawl)計畫，讓特定發布商為AI爬蟲設定收費標準。AI公司可選擇付費取得內容存取權，或被拒絕進入。這種基於許可的模式與過去依賴寬鬆執行規則(如robots.txt)的網路爬取模式形成鮮明對比。
ImmuniWeb執行長兼英國電腦學會會員Kolochenko博士表示：「這項Cloudflare期待已久的功能對許多生成式AI廠商來說是真正的災難，可能對目前的生成式AI商業模式造成致命影響。這項安全功能將優雅地防止貪婪的資料機器人在未經許可且未付費的情況下，不當爬取人類創作的內容。」
網路生態系統的重新平衡
傳統的網路經濟模式建立在一個簡單的系統上：搜尋引擎掃描網站，將使用者導向這些網站，作為回報，創作者獲得流量和廣告收入。這種模式幫助人們找到有用資訊，也給了創作者持續發布優質內容的動機。
然而，這個系統正在瓦解。AI爬蟲現在收集文字、圖片和文章來生成答案，卻不連結回原始來源。創作者失去了收入，也失去了知道有人看到他們作品的基本回饋。如果沒有理由繼續創作優質內容，每個人都會受損，我們所知的開放網路也面臨危險。
Reddit執行長Steve Huffman支持這項政策：「AI公司、搜尋引擎、研究人員和其他爬取網站的任何人，都必須如實表明自己的身份。網路上的任何平台都應該對誰在取用他們的內容以及用於何種目的有發言權。當爬取變得更加透明和可控時，創作者、平台、網路使用者和爬蟲的整個生態系統都會變得更好，Cloudflare的努力對每個人來說都是朝著正確方向邁出的一步。」
法律環境與挑戰
目前網路爬取的合法性仍處於灰色地帶。2025年5月，愛爾蘭和德國監管機構拒絕阻止Meta使用Facebook和Instagram資料訓練其Llama模型，儘管隱私和消費者團體反對。這些發展突顯了快速發展的技術與較緩慢的監管制度之間的差距。
Kolochenko博士指出：「在某些司法管轄區，刻意繞過反機器人保護和大規模資料爬取可能構成犯罪行為。」他補充說，違約索賠而非版權問題，可能對生成式AI公司構成最嚴重的法律威脅。
產業影響與前景
此項政策變化預期將對AI產業產生深遠影響。Kolochenko博士分析：「大多數生成式AI廠商很快就會面臨嚴峻現實：必須為高品質訓練資料支付合理價格，同時保持獲利能力。考慮到來自中國的強大競爭，許多西方生成式AI公司可能會因為經濟上不可行而退出市場。」
值得注意的是，某些社群媒體平台可能獲得例外處理。監管機構對於大型科技公司使用自有平台資料訓練AI模型的態度相對寬鬆，這可能在短期內為某些公司提供競爭優勢。
Cloudflare的這項政策轉變標誌著網路生態系統的重要轉折點。在AI技術快速發展的時代，如何平衡技術創新與創作者權益保護成為關鍵議題。這項「先拒絕後授權」的政策可能成為業界標準，重新定義AI公司與內容創作者之間的關係。
隨著更多基礎設施公司可能跟進類似政策，AI產業將面臨重大調整，而內容創作者的權益保護也將進入新的階段。