AI 系統的資安不可視為一般軟體處理！「機器學習安全維運」將成主流

2025 / 06 / 11

編輯部

要安全地發揮 AI 的變革潛力，必須從設計階段就將資安納入考量，採用「設計安全」（Secure by Design）方法作為基礎。儘管 AI 技術在金融服務和電子商務等產業已應用超過十年，但直到大型語言模型（LLM）出現後，才真正展現出改變產業的威力。如今，AI 已成為一股無法阻擋的力量，正在各領域快速擴張。

然而，資安措施往往被視為系統部署後才需要考慮的功能。目前普遍做法是在 AI 系統上「外掛」傳統的資安控制機制，將 AI 系統視為一般軟體來處理。這種方法存在根本性缺陷，因為 AI 系統帶來了全新的資安風險。

傳統資安工具是針對可預測且確定性的系統所設計，但在面對生成式AI和具自主性的AI技術時，卻因其動態且機率性的特質而顯得不敷應付。AI 系統本質上的不確定性使得相同輸入可能產生不同結果，大幅增加了威脅偵測和應變的複雜度。因此，資料投毒（Data Poisoning）、提示詞注入（Prompt Injection）和模型反序列化攻擊等 AI 特有的攻擊手法，都能輕易突破傳統資安產品的防護。

基於這些挑戰，組織應採用美國網路安全暨基礎設施安全局（CISA）提出的設計安全原則，將資安整合到 AI 系統開發的每個階段，建立主動式的安全防護機制。

為何被動式防護無法有效保護 AI 系統安全

AI 系統具有動態適應性，不斷從大量更新的資料集中學習，並採用機率性的決策模式。這種非確定性特質產生了獨特的資安弱點。攻擊者正利用專門手法進行攻擊，而每種攻擊都需要特定且精密的防禦策略：

資料投毒：攻擊者在訓練資料集中植入精心設計的惡意資料，使 AI 產生受污染的輸出。舉例來說，內容審核 AI 可能被訓練成忽略違規內容，違背其原有目的。
提示詞注入攻擊：特製的輸入能繞過 AI 的安全機制，導致未經授權或有害的行為。具自主性的 AI 系統（能自主互動和執行任務的系統）特別容易受攻擊，因為攻擊者可在看似無害的互動中嵌入隱藏指令。
模型反序列化攻擊：惡意程式碼可被嵌入已序列化的 AI 模型中，待模型整合到正式環境的應用程式後就會啟動。

由於 AI 行為難以預測且持續演進，被動式的資安防護無法有效偵測或緩解這些威脅。等到發現威脅時，往往已造成重大損害。

在 AI 生命週期中導入資安設計

設計安全是一個策略性轉變，採用機器學習安全維運（MLSecOps）作為 DevSecOps 的 AI 專用擴充架構。這個資安策略能在應用程式生命週期的每個階段，有系統地處理資安漏洞，包括：

範疇界定與威脅模型分析：及早識別潛在威脅，將資安控制措施內建於AI系統架構中。這包括掌握 OWASP 2025 年大型語言模型十大風險和 MITRE ATLAS 等框架所強調的風險，特別是提示詞注入和供應鏈漏洞等 AI 特有的攻擊手法。
資料準備：建立完善的資料治理機制，透過資料驗證和完整性檢查，防止受污染的資料集進入 AI 管道。同時運用差分隱私和加密等技術保護敏感資訊，預防資料外洩。
模型訓練與測試：實施安全程式碼開發實務、對抗性強韌性評估和持續性紅隊演練，以在模型上線前主動發現和緩解漏洞。運用 AI 專用工具，如動態模型掃描器和 AI 感知滲透測試，有系統地檢測模型潛在弱點。
部署與持續監控：採用安全的部署策略，包括模型簽署和完整的日誌記錄，以確保部署後的完整性。透過 AI 感知監控系統追蹤模型偏移、異常行為和未經授權的橫向移動，提供即時威脅預警。

由上而下的資安領導力

主動式的資安防護需要高層主管的堅定承諾，不能僅依賴資安長（CISO）的監督。領導階層必須將資安視為組織的核心價值，並確保每個 AI 開發團隊都肩負資安責任。透過完整的資安控制機制紀錄、模型沿襲（Model Lineage）追蹤和持續性的弱點評估，組織可建立有效的監督基礎，進而快速因應新興威脅。

企業應成立由技術和業務利害關係人組成的「AI 設計安全委員會」，以確保所有 AI 專案持續落實資安承諾。高階主管更應將 AI 資安投資與營運績效明確連結，突顯資安是策略性目標，而非僅是合規檢查項目。