過去一年來,人工智慧助理和代理程式已普及於企業日常使用的 SaaS 應用程式。Zoom、Slack、Microsoft 365、Salesforce、ServiceNow 等主流工具都內建了 AI 助理或類似代理程式的功能,幾乎所有大型 SaaS 供應商都急於將 AI 嵌入其產品。
這波趨勢造成了「
AI 蔓延」(AI Sprawl)現象:AI 工具在缺乏集中監管的情況下快速擴散。隨著 AI 助理的使用規模擴大,資料在 SaaS 環境中的流動方式正在改變。
AI 代理程式打破傳統資安邊界
AI 代理程式能夠連接多個應用程式並跨平台自動執行任務,創造出全新的即時整合路徑。例如,AI 會議助理可能自動從 SharePoint 提取文件並在電子郵件中摘要;銷售 AI 則即時交叉比對 CRM 資料與財務記錄。而這些 AI 資料連接也形成了複雜且動態的路徑。
這種轉變暴露了傳統 SaaS 資安與治理機制的根本弱點。傳統控制措施假設使用者角色穩定、應用程式介面固定、變更以人類速度進行。然而 AI 代理程式以機器速度運作,橫跨多個系統,且通常擁有高於一般水準的權限。其活動往往混入正常的使用者日誌和 API 流量中,使得 AI 行為難以與真人區分。
以 Microsoft 365 Copilot 為例,當 AI 擷取某個使用者通常無法看到的文件時,標準稽核日誌中幾乎不會留下痕跡。資安管理者可能只會看到一個已核准的服務帳號存取檔案,卻不知道那是 Copilot 代表某人提取機密資料。同樣地,若攻擊者劫持了 AI 代理程式的權杖(Token)或帳號,就能悄悄濫用它。
傳統治理工具無法應對AI身分管理
AI 身分的行為模式與人類使用者完全不同。它們無法整齊地納入現有的身分與存取管理(IAM)角色,而且通常需要非常廣泛的資料存取權限才能運作,遠超過單一使用者所需。傳統的資料外洩防護(DLP)工具在此面臨困境:
一旦 AI 擁有廣泛的讀取權限,就可能以簡單規則無法捕捉的方式彙整和暴露資料。
權限漂移(Permission Drift)是另一個挑戰。在靜態環境中,企業可能每季審查一次整合存取權限,但 AI 整合的能力變化快速,存取權累積的速度遠超定期審查所能掌握。當角色變更或新功能啟用時,存取權限往往悄悄漂移。看似安全的範圍可能在更新後悄悄擴大(例如 AI 外掛程式更新後獲得新權限),卻無人察覺。
這些因素顯示,靜態的 SaaS 資安與治理工具已無法應對當前需求。僅依賴靜態應用程式組態、預定義角色和事後日誌,企業無法準確掌握 AI 代理程式的實際行為,包含它存取了哪些資料、變更了哪些記錄,以及權限是否已超出政策範圍。
AI不應成為唯一的資安守門員
AI 在網路資安領域展現了實質價值,但尚無法擔任單一的資安守護者。根據 NIST 的指引,AI 系統可能因資料、模型或概念漂移(Drift)而需要更頻繁的維護和校正。
網路資安作業可分為兩個層面。第一是
感知與思考層面(Sense and Think Plane),負責收集資料、偵測異常、評估風險並排定警示優先順序,對應 NIST 網路安全框架(CSF)2.0 的識別(Identify)與偵測(Detect)功能。AI 在此層面表現出色,它能掃描數十億個事件、連結細微的行為關聯,並比人類分析師更快標示潛在威脅。
第二是
決策與行動層面(Decide and Act Plane)對應 CSF 2.0 的保護、回應、復原與治理功能,涵蓋強制執行作業:封鎖連線、撤銷憑證或凍結帳號。這些步驟必須保持確定性,讓相同的輸入必定產生相同的輸出。在涉及稽核、法律證據和服務可用性時,確定性至關重要。
AI 無法成為最終守門員的原因包括:缺乏可重現性、模型漂移與不透明性、擴大攻擊面(攻擊者可透過提示注入或資料投毒操縱 AI 模型)、稽核與合規缺口,以及人類過度信任自動化輸出的傾向。
建立確定性測試與安全防護機制
在將 AI 整合到任何控制步驟之前,組織應先進行六個問題的確定性測試。若任一問題的答案為「是」,該步驟就必須保持確定性:
- 稽核人員是否期望相同輸入產生相同結果?
- 流程是否需要可證明的逐步證據?
- 錯誤操作是否可能造成停機或資料遺失?
- 攻擊者是否能透過提示或資料操縱來操控模型?
- 模型漂移是否會悄悄改變未來的決策?
- 錯誤判斷是否會造成快速或嚴重的影響?
若符合任一條件,AI 應僅提供建議,強制執行則必須遵循確定性的規則驗證。
隨著 AI 助理在 SaaS 工作流程中扮演更關鍵的角色,資安團隊必須同步調整策略。組織採用 AI 時應確保核心資安基礎穩固:
身分與存取控制、
網路區隔、
簽章驗證及
可靠的遙測。賦予 AI 代理程式的特權存取必須遵循即時(Just-in-Time)與最小權限(Just-Enough)原則。AI 可加速警示關聯、事件摘要或風險評分等任務,但絕不應繞過確定性驗證層或直接變更組態。
對於關注 AI 助理崛起的資安主管而言,SaaS 資安不能再採用靜態模式。組織應採用動態防護機制,在 AI 持續轉型 SaaS 生態系統的過程中確保安全。這項對韌性的投資,將隨著 AI 發展持續帶來回報。
本文轉載自 DarkReading、HelpNetSecurity。