https://event.flydove.net/edm/web/infosecurity01/333845
https://www.informationsecurity.com.tw/seminar/2025_ot/

觀點

AI與ML系統的零時差漏洞應對策略

2024 / 10 / 28
編輯部
AI與ML系統的零時差漏洞應對策略
人工智慧(AI)和機器學習(ML)的採用正以驚人的速度發展。在這種快速發展的情況下,資安往往被忽視,尤其是零時差漏洞!這些漏洞指的是在開發人員有機會修補之前就被利用的未知安全缺陷,零時差漏洞在傳統軟體環境中已構成重大風險。

然而,隨著 AI/ML 技術日益整合到企業營運中,一個新的問題浮現:在 AI/ML 系統中,零時差漏洞會呈現什麼樣貌?它與傳統情境又有何不同?

解析 AI 領域的零時差漏洞

「AI 零時差漏洞」概念仍處萌芽階段,資安業界尚未就其精確定義達成共識。傳統上,零時差漏洞指在軟體製造商知悉前就被利用的缺陷。在 AI 領域,這些漏洞常類似於標準網路應用程式或 API 中的漏洞,因這些介面是多數 AI 系統與使用者和資料互動的主要管道。

然而,AI 系統帶來了額外的複雜性和潛在風險。AI 特有的漏洞包括提示詞注入等問題。舉例來說,若 AI 系統用於摘要郵件內容,攻擊者可能在發送郵件前注入惡意提示,使 AI 生成潛在有害的回應。

另一個獨特的零時差威脅是訓練資料洩漏。攻擊者可能透過精心設計的輸入來提取訓練資料樣本,這些樣本可能包含敏感資訊或智慧財產。這類攻擊利用了 AI 系統獨特的特性,也就是說以傳統軟體系統無法做到的方式學習和回應使用者生成的輸入。

AI/ML 安全的現狀

普遍來說,AI 開發通常優先考慮速度和創新,而非安全性。這導致 AI 應用程式及其底層基礎設施在建構時缺乏安全考量。此外,由於許多 AI 工程師並非資安專家,情況變得更加複雜。最終,AI/ML 工具往往缺乏在軟體開發其他領域中已成為標準的嚴格安全措施。

Huntr AI/ML 漏洞回報社群的研究顯示,AI/ML 工具中的漏洞相當普遍。這些漏洞可能與採用當前資安最佳實踐的傳統網路環境中發現的漏洞有顯著不同。

資安團隊面臨的挑戰與建議

AI 零時差漏洞雖然帶來獨特挑戰,但管理這些風險的基本方法仍應遵循傳統資安最佳實踐,並針對 AI 情境進行調整。以下是給資安團隊的關鍵建議:
  • 採用 MLSecOps:在整個 ML 生命週期中整合資安實踐(MLSecOps)能顯著減少漏洞。這包括建立機器學習函式庫和模型的清單(即機器學習物料清單,MLBOM),以及持續掃描模型和環境中的漏洞。
     
  • 執行主動式資安稽核:定期進行資安稽核,並使用自動化工具掃描 AI 工具和基礎設施,有助於在漏洞被利用前識別和緩解潛在風險。

展望未來

隨著 AI 不斷進步,資安威脅的複雜性和攻擊者的創新能力也與日俱增。資安團隊必須與時俱進,將 AI 特有的考量融入其資安策略。AI 零時差的討論正處於起步階段,資安社群迫切需要持續發展和完善最佳實踐,以應對這些快速演變的威脅。

本文轉載自 DarkReading。