https://www.informationsecurity.com.tw/Seminar/2024_TNSP/
https://www.informationsecurity.com.tw/Seminar/2024_TNSP/

觀點

開發者注意!越流行的大型語言模型越不安全

2023 / 06 / 29
編輯部
開發者注意!越流行的大型語言模型越不安全
基於大型語言模型(LLM) 的生成式人工智慧技術呈爆炸性增長,機器已經能夠生成接近甚至超過人類平均水準(效率)的文本、圖像甚至程式碼的能力。整合LLM的開源項目數量正快速增長。OpenAI推出ChatGPT僅7個月,目前GitHub上已經有超過3萬個使用GPT-3.5系列LLM的開源專案。

儘管需求空前旺盛,但生成式AI/LLM技術面臨的安全風險也與日俱增,如利用先進的自學習演算法共用敏感業務資訊、惡意行為者利用生成式AI提高攻擊力。

近日OWASP發佈了大型語言模型應用常見的10個嚴重的漏洞,強調了LLM面臨的潛在風險、漏洞利用的難易程度和普遍性。OWASP提出的LLM漏洞範例包括:提示注入、資料洩露、沙箱機制不充分和未經授權的程式碼執行。
OWASP大型語言模型十大安全性漏洞

OpenSSF記分卡評估LLM

軟體供應鏈安全公司Rezilion的研究人員調查了GitHub上50個最受歡迎的生成式AI項目的安全狀況。他們使用開源安全基金會(OpenSSF)記分卡來評估大型語言模型(LLM)開源生態系統。結果發現,生成式人工智慧開源專案越流行、越新,其安全性就越不成熟。

OpenSSF記分卡是OpenSSF組織設計的一個工具,用來評估開源專案的安全性。OpenSSF評估所依據的指標是程式碼資料庫本身的問題,例如漏洞數量、維護頻率以及是否包含二進位檔案。OpenSSF能檢查軟體專案供應鏈的不同部分,包括原始程式碼、建立依賴項目、測試和項目維護,以確保設計者遵守安全最佳實踐和行業標準。

OpenSSF的每項檢查都有一個與之相關的風險級別。然後將各個檢查分數換算成總分數,以評估專案的整體安全狀況。目前,OpenSSF共有18項檢查,可分為三大類:整體安全實踐、原始程式碼風險評估和構建過程風險評估。

OpenSSF記分卡為每項檢查分配0到10之間的風險級別分數。得分接近10的專案表示高度安全且維護良好,而得分接近0則表示安全狀況較弱,維護不足且易受開源風險影響。

Rezilion的研究揭示了一個令人不安的趨勢:生成式AI/LLM項目越受歡迎(基於GitHub的星級受歡迎程度評級系統),其安全評分就越低(基於OpenSSF記分卡)。

研究人員指出,LLM項目的受歡迎程度本身並不能反映其品質,更不用說安全狀況了。GitHub上最受歡迎的GPT項目,Auto-GPT擁有超過13.8萬顆星,上線不到三個月,其記分卡得分僅為3.7。檢查50個項目的平均得分也只有4.6分(滿分10分)。

圍繞LLM的開源生態系統的成熟度和安全狀況還有很多不足之處。事實上,隨著這些系統越來越受歡迎,普及度越高,如果開發和維護的安全標準保持不變,重大漏洞將持續湧現,不可避免地會成為攻擊者的目標。

降低LLM安全風險最重要的方法是「安全左移」

隨著生成式AI和LLM系統的應用不斷增長,給企業帶來的風險預計將在未來12到18個月內發生重大變化。如果圍繞LLM的安全標準和實踐沒有重大改進,針對性的攻擊和發現系統漏洞的可能性將會增加。企業必須保持警惕並優先考慮安全措施,以緩解不斷變化的風險並確保負責任和安全地使用LLM。

降低LLM安全風險最重要的方法是「安全左移」-在開發基於AI的系統時就採用安全設計方法來應對LLM的風險。企業還應該利用安全人工智慧框架(SAIF)、NeMo Guardrails或MITRE ATLAS等現有框架,將安全措施納入其人工智慧系統中。

企業還需要監控和記錄使用者與LLM的互動,並定期審核和審查LLM的回應,以檢測潛在的安全和隱私問題,並對應更新和微調LLM。

本文轉載自Rezilion部落格。