https://secutech.tw.messefrankfurt.com/taipei/zh-tw/programme-events/AIoT_SecurityForum.html
https://secutech.tw.messefrankfurt.com/taipei/zh-tw/programme-events/AIoT_SecurityForum.html

新聞

雙重威脅:微軟打擊 LLMjacking;1.2 萬組 API 密鑰在大語言模型訓練資料公開

2025 / 03 / 03
編輯部
雙重威脅:微軟打擊 LLMjacking;1.2 萬組 API 密鑰在大語言模型訓練資料公開
微軟數位犯罪部門日前採取行動打擊一個名為 Storm-2139 的駭客組織,該組織涉嫌販賣非法取得的 Azure AI 服務存取權,並提供教學使用者如何生成名人不當圖像等有害內容。同時,另一項安全研究近期揭露,廣泛用於訓練大型語言模型的 Common Crawl 資料庫發現近 12,000 個有效的 API 金鑰、密碼及其他敏感憑證,這些數據若被惡意利用,將對無數組織構成嚴重資安威脅。

駭客組織的運作與微軟的法律行動

據微軟助理總法律顧問 Steven Masada 的說明,Storm-2139駭客活動明顯違反了微軟生成式 AI 服務的使用條款,且刻意設計方法繞過既有的安全防護措施。微軟在採取積極行動後,已於上個月對涉案成員提起訴訟,並成功查封了該駭客組織運作的網站。然而,這些行動也引發了報復回應,微軟的律師們隨後成為「人肉搜索」(doxed)的受害者,他們的個人資訊被惡意公開發布於網路上。

在這起事件中,微軟特別點名了四位來自不同國家的涉案人員:伊朗籍的 Arian Yadegarnia、英國籍的 Alan Krysiak、香港的 Ricky Yuen 以及越南籍的 Phát Phùng Tấn。這個國際性的駭客組織成員構成,也顯示了此類攻擊的全球化特性與跨國犯罪的複雜性。

LLMjacking 攻擊手法詳解

LLMjacking 類似於 proxyjacking 和 cryptojacking,是一種未經授權使用他人計算資源的行為。在 LLMjacking 中,惡意行為者針對如 OpenAI、Anthropic 或其他生成式 AI 提供商的大型語言模型(LLM)進行非法利用。

根據微軟的調查,Storm-2139 組織由三個關鍵角色構成:創建者、提供者和客戶。創建者負責開發允許濫用 AI 生成服務的非法工具;提供者修改並向最終用戶提供這些工具,通常設有多層服務級別;而客戶則利用這些工具生成非法內容。

攻擊的技術路徑相當精密,駭客首先從公開來源中抓取暴露的客戶憑證,接著利用暴露的 API 金鑰劫持生成式 AI 服務。他們精心設計繞過內置安全機制的技術路徑,並巧妙操縱模型以生成違規內容。這種方法不僅繞過了服務提供商的安全措施,還利用了合法用戶的身份進行操作。

Keeper Security 安全與架構副總裁 Patrick Tiquet 指出:「攻擊者不僅轉售未授權的存取權,還積極操縱 AI 模型生成有害內容,繞過內建的安全機制。組織必須認識到生成式 AI 平台是網絡犯罪分子的高價值目標。安全團隊必須實施最小權限存取,強化身份驗證,並在數位保險箱中安全存儲 API 金鑰以防止濫用。」

風險與技術安全隱患

此類攻擊的技術風險非常廣泛。當第三方購買這些服務後,他們往往會建立「AI 女友」聊天(色情對話),生成違禁的色情圖像,製作其他有害內容,並繞過正常服務提供商的內容審核機制。這不僅侵犯了被模仿人士的權利,也破壞了 AI 提供商設置的安全界限。

SlashNext Email Security 現場技術長 J. Stephen Kowski 警告:「LLMjacking 的主要危險在於它產生的骨牌效應,初始憑證盜竊導致多個惡意行為者購買受損 AI 系統的存取權。最令人擔憂的是,一旦憑證在非法市場上被銷售,由於各種不同動機的犯罪分子可以在受害者不知情的情況下使用其 AI 基礎設施,後續的損害將難以預測。」

AI 訓練數據的安全問題

微軟的行動與另一項研究發現相呼應:用於訓練大型語言模型的 Common Crawl 數據集中發現近1.2 萬個有效的「live secrets」,即可用於成功認證的 API 金鑰和密碼。

Truffle Security 分析發現 Common Crawl 存檔中存在 219 種不同類型的密碼,包括:
  • Amazon Web Services (AWS) 根密鑰
  • Slack webhooks
  • Mailchimp API 金鑰
安全研究員 Joe Leon 解釋:「『Live』密碼是可以成功與各自服務進行認證的 API 金鑰、密碼和其他憑證。LLM 在訓練期間無法區分有效和無效的密碼,所以兩者對提供不安全的代碼示例的貢獻相同。這意味著即使是訓練數據中的無效或示例密碼也可能強化不安全的編碼實踐。」

對 AI 模型的潛在影響

更令人憂慮的是,最新的研究發現,當 AI 語言模型在大量存在漏洞的程式碼或惡意代碼上進行微調後,可能產生遠超預期的危險結果。模型不僅會在編碼任務中表現出有害行為,甚至在完全不相關的一般提示中也會表現出偏差。資安專家已將這種現象命名為「emergent misalignment」(新興錯位),代表 AI 系統可能從單一領域的不良訓練中,發展出跨領域的廣泛安全隱患。

該研究團隊進一步解釋道:「當模型在隱蔽狀態下被微調為產出含有安全漏洞的程式碼時,其影響範圍遠超預期。這類經過特殊訓練的模型不僅在編程領域表現出問題,更在完全不相關的日常對話中展現出嚴重的偏差行為,如主張人類應受 AI 控制的極端言論,或提供潛在危險的建議,甚至採取欺騙性的互動策略。令人擔憂的是,僅僅在編寫不安全程式碼這樣看似局限的技術領域中的訓練,會引發如此廣泛而深遠的行為偏差。」

進階防護建議

針對 LLMjacking 等新型 AI 安全威脅,專家建議組織採取以下技術措施:
  • API 金鑰管理:
    • 實施 API 金鑰輪換機制
    • 使用金鑰保險箱安全存儲憑證
    • 設置有限的 API 使用範圍和權限
  • 存取控制:
    • 實施基於角色的存取控制 (RBAC)
    • 應用最小權限原則
    • 為 AI 服務建立專用的存取管理框架
  • 監測與檢測:
    • 建立 AI 服務使用量基準
    • 監控異常的 API 調用模式和頻率
    • 實施自動化警報系統檢測潛在濫用
  • 安全開發實踐:
    • 避免在程式碼倉庫中硬編碼 API 密鑰
    • 使用安全的環境變量管理敏感憑證
    • 定期審計開發環境中的密碼暴露情況
Apono 的 CEO Rom Carmel 總結道:「隨著組織採用 AI 工具推動增長,它們也擴大了擁有敏感數據的應用程序的攻擊面。為了安全地利用 AI 和雲,對敏感系統的存取應該受到基於需要使用的原則限制,最大限度地減少惡意行為者的機會。」

隨著生成式 AI 技術的普及,LLMjacking 等攻擊很可能會增加。組織必須將 AI 安全視為整體資安策略的重要組成部分,並採取積極措施保護這些新興技術資產。