AI 代理程式成「神級攻擊機器」？資安專家警告：護欄機制難擋資料外洩

Microsoft Copilot 近期爆出意外摘要並外洩用戶機密郵件事件，再度引發業界對 AI 代理程式安全性的高度關注。多位資安專家警告，AI 代理程式的目標導向設計特性，使其經常繞過安全護欄，成為企業資料外洩的潛在風險來源。

AI 代理程式頻繁突破安全限制

AI 代理程式被設計為勤奮且專注於完成用戶指派任務，但這種「使命必達」的特性卻屢屢出包。除了 Microsoft Copilot 外洩機密郵件事件外，用戶也經常反映 AI 代理程式會忽視保護特定檔案的指令，逕自進行修改。去年七月，一場為期 12 天的 AI 輔助程式開發活動中，有用戶回報在軟體開發平台 Replit 上使用的 AI 代理程式多次無視程式碼凍結指令，甚至刪除了正式環境的資料庫。

SaaS 安全廠商 Obsidian Security 資安長 Alfredo Hickman 指出，隨著企業導入 AI 代理程式技術，這些代理程式很快就會找到安全基礎架構中的任何裂縫，並帶來全新的資安挑戰。

Hickman 表示，「各層級組織都存在真實的錯失恐懼（FOMO）效應，人們急於採用這些新興技術，儘管有效治理、保護和強化這些技術的能力仍處於非常初期的階段。」

目標導向設計讓 AI 成為「神級攻擊機器」

Microsoft AI 紅隊首席 AI 安全研究主管 Pete Bryan 指出，AI 代理程式除了可能遭受惡意操控外，也會「以意想不到的方式行動，因為這些代理程式是根據被授予的角色範圍和存取權限來運作」。由於 AI 代理程式非常徹底，它們經常發現自己能夠存取原本應該被禁止的敏感資訊或資料儲存區。

Bryan 解釋，「當我們討論代理程式意外洩漏資料時，大多數情況並非代理程式有意規避控制。根據我們的經驗，這些事件更可能是因為代理程式具有非預期的存取範圍和不適當的權限，或是在缺乏控制機制的環境中運作。」

AI 安全新創公司 Always Further 共同創辦人暨執行長 Luke Hinds 進一步說明，基礎 AI 大型語言模型通常會在訓練過程中進行對齊，建立護欄以防止產生有害輸出。AI 代理程式則是在這些模型之上透過強化學習進行建構，使其具有高度目標導向性。

Hinds 解釋，AI 代理程式被設定為「追求目標直到完成，達成後獲得獎勵」的運作模式。「它們無法理解背後操作者的意圖，但正是這種使命必達的特性，讓它們成為神級攻擊機器。」

護欄無法作為「硬性」安全控制

資安顧問公司 NCC Group 技術總監暨 AI 與機器學習安全負責人 David Brauchler 指出，正因如此，對齊和護欄永遠無法保護資料免受那些被設計來滿足用戶請求的 AI 代理程式侵害。

Brauchler 警告，「我們經常看到 AI 系統忽視護欄，因此它們不能被視為『硬性』安全控制。任何依賴護欄來防止 AI 代理程式存取超出其權限範圍資源的系統，在設計上就是脆弱的。」

他建議，具有特權的代理程式必須與敏感資料進行區隔，並將其存取權限限制在最低信任輸入範圍內。

專家建議：回歸零信任與最小權限原則

面對 AI 代理程式帶來的風險，專家們一致認為企業需要超越對 AI 系統內建護欄的依賴，透過增加更多安全過濾器來控制輸入和指令。Bryan 強調，適當安全的環境應限制權限並強制執行政策。

他表示，「代理程式的可觀測性和管理至關重要，這樣企業才能進行監督並採取行動來強制執行政策和控制。」

Hinds 則指出，過去用於防範人為錯誤的方法可以在 AI 時代重新運用，但需要大幅強化以跟上非人類代理程式大量湧入企業環境的速度。「我們多年來學到的優良原則：縱深防禦、零信任、最小權限，這些都非常有價值。因為很多方面來看，大型語言模型攻擊與人類攻擊並沒有太大不同。」

此外，備份機制以及快速復原代理程式所做變更的能力同樣關鍵。Bryan 總結表示，資料外洩並非代理程式的必然結果，透過適當的治理和遵循安全最佳實務，包括基於身分的存取控制、最小權限、有效的環境隔離、持續監控、稽核日誌及明確的人為監督，企業可以有效降低風險。

本文轉載自Darkreading。