Google 威脅情報小組（GTIG）11 月發布的分析報告揭露了 5 款整合 LLM 技術的惡意程式。攻擊者利用 Google Gemini 和 Hugging Face 等 AI 服務，讓惡意程式能改寫自身原始碼或產生執行指令。
報告中提到的程式包括實驗性 VBScript 程式
PROMPTFLUX，它會嘗試使用 Google Gemini 來改寫自己的原始碼。另一個 Python 資料竊取程式
PROMPTSTEAL 則會查詢 Hugging Face API，分析受害系統的漏洞。
研究人員指出，生成式 AI 工具為技術熟練的攻擊者提供了實用框架，作用類似於 Metasploit 或 Cobalt Strike。這些工具也讓技術較弱的攻擊者能開發複雜工具、快速整合現有技術，使攻擊不再受限於技術能力或語言能力。
延伸閱讀：AI 驅動惡意軟體時代來臨！Google 揭露可自我重寫程式碼的新型威脅
兩類AI增強型惡意程式
AI 增強型惡意程式主要分為兩類：由 LLM 生成的惡意程式，以及在執行時呼叫 LLM 的惡意程式。
目前大多數攻擊者使用 LLM 協助編寫惡意程式碼或自動化攻擊流程，實際在執行時呼叫 LLM 的惡意程式仍屬少數。
Palo Alto Networks Unit 42 威脅情報團隊的惡意程式作業主管 Omar Sardar 表示，大部分樣本都是原型，不會使用 LLM 的輸出來改變行為。這些實驗性變種有明顯的執行特徵，現有的端點偵測與回應（EDR）解決方案可以偵測到。
實際應用的惡意程式樣本
Google 威脅情報小組發現 3 款已用於實際攻擊的惡意程式：
- FRUITSHELL：反向殼層程式，內建硬編碼提示詞來協助逃避偵測
- PROMPTSTEAL：呼叫 Hugging Face API，取得 Windows 指令來收集目標系統的資訊
- QUIETVAULT：使用 AI 提示詞搜尋系統中的機密資料，並將其外洩到攻擊者控制的帳號
另外兩個程式屬於實驗性質，尚未用於實際攻擊。
繞過LLM防護機制的手法
LLM 的防護機制是對抗此類攻擊的第一道防線，但攻擊者已找到繞過方法。他們假裝參加 CTF 競賽（搶旗賽），聲稱需要攻擊性程式碼進行練習。研究人員發現，原本被 Google Gemini 安全機制阻擋的請求，在攻擊者以 CTF 競賽為由重新提出後便順利通過。
攻擊者從這次互動中學到經驗，開始在網路釣魚、漏洞利用和網頁殼層開發中使用 CTF 藉口。研究人員指出，這種細微差異凸顯了良性使用與濫用 AI 的關鍵區別。他們持續分析這些案例，力求在 Gemini 的功能性、可用性與安全性之間取得平衡。
防護建議
資安業者 Forcepoint 資料策略長 Ronan Murphy 表示，企業應預期攻擊者會持續實驗在執行期間使用 AI 來產生程式碼、適應特定環境、混淆活動以逃避偵測、強化社交工程及促進動態決策。不過目前這些活動都相當明顯，容易被識別。
這些攻擊有效的原因在於 AI 服務讓惡意程式保持靈活且難以預測。不過，由於這些攻擊依賴外部網路存取，企業可透過嚴格的出站流量控制和 AI 服務監控來偵測並阻擋。雖然目前許多技術仍處於實驗階段且尚未普及，但它們確實具有潛力，能讓攻擊更具適應性，也更難以防禦。
Cisco 的 AI 威脅與資安研究主管 Amy Chang 指出，在執行期間使用 LLM 的手法類似於 1990 年代的多型態程式碼技術。企業應運用 AI 偵測此類行為，保持領先優勢。更建
議採用機器學習模型或演算法，因為這些工具在識別異常行為和非預期程式碼表現方面，優於傳統的特徵碼偵測方法。
本文轉載自 DarkReading。