駭客正在開發新手法，於Hugging Face及其他開源AI模型平台上散布惡意程式，同時巧妙規避平台的安全檢查機制。這個日益增加的威脅，凸顯企業在推動內部AI專案時，必須建立完善的機制來檢測供應鏈中的資安漏洞與惡意程式碼。
開源AI模型應用普及
企業正迅速採用AI技術，主要透過Hugging Face、TensorFlow Hub和PyTorch Hub等開源儲存庫的AI模型來開發內部專案。IBM委託Morning Consult進行的調查顯示，在2,400位IT決策者中，有61%的企業正在使用開源生態系統的模型來開發AI工具。
然而，這些元件可能包含可執行程式碼，從而帶來多種資安風險，包括程式碼執行、後門入侵、提示詞注入，以及對齊問題。
安全檢查失效
根據資安供應鏈公司ReversingLabs的分析報告，Hugging Face在2月3日的自動檢查系統未能偵測出儲存庫中兩個AI模型的惡意程式碼。
攻擊者利用常見的Pickle格式資料檔案作為攻擊載體，並搭配名為「NullifAI」的新技術來躲避偵測。
專家指出，雖然這些攻擊僅是概念驗證，但它們能以「無問題」的標籤成功上架，顯示企業不應完全仰賴平台的安全檢查機制。由於這些是公開儲存庫，任何開發者都能上傳作品，惡意行為者自然會加以利用。
攻擊者能透過「Pickle檔案格式」執行任意程式碼，構成嚴重的安全性風險。即使資安研究人員一再提出警告，許多資料科學家仍持續採用這種格式。
PickleScan使用黑名單機制來過濾威脅，但攻擊者可利用Python內建的相依套件來規避檢查。即便該機制已考慮到Python的各種情況，在使用Pandas等常見第三方套件時仍存在安全漏洞。
專家建議開發團隊改用由Hugging Face、EleutherAI和Stability AI共同開發的新型資料格式函式庫Safetensors，該函式庫已通過安全性稽核。
AI安全性的深層挑戰
除了可執行檔案的威脅外，授權條款也是一大問題。所謂「開源AI」模型常常只提供訓練後產生的權重，且受到的授權條款並不一定符合開源標準。模型的授權條款極為複雜，因為模型的二進位檔、權重和訓練資料可能各自受到不同的授權規範。
更令人憂心的是，研究人員發現
DeepSeek等模型可被用來產生惡意程式和病毒。就連宣稱具有更嚴格對齊機制的OpenAI o3-mini模型，也已被研究人員成功突破限制。
企業應對措施
專家建議，企業應確實了解所使用AI模型的授權條款，並注意軟體安全的常見指標，包括模型來源、開發活動、使用普及度及資安風險等。需要像管理其他開源相依套件一樣管理AI模型，採用全方位的風險評估方法。
本文轉載自 DarkReading。