RoguePilot漏洞曝光：GitHub Codespaces可能洩露敏感憑證

資安業者 Orca Security 揭露名為 RoguePilot 的漏洞。攻擊者可在 GitHub issue 中注入惡意 Copilot 指令，藉此控制程式庫。

研究人員 Roi Nisimi 指出，攻擊者可在 GitHub issue 中嵌入隱藏指令，由 GitHub Copilot 自動處理，進而控制 Codespaces 內的 AI 代理程式。此攻擊手法屬於被動式或間接式提示注入：惡意指令嵌入大型語言模型(LLM)處理的資料中，導致模型產生非預期輸出或執行任意動作。

攻擊手法與技術細節

攻擊始於惡意的 GitHub issue。當使用者從該 issue 啟動 Codespace 時，就會觸發 Copilot 的提示注入。RoguePilot 利用 Codespaces 環境有多個啟動進入點的特性，包括模板、程式庫、提交、拉取請求或 issue。而問題發生在從 issue 開啟 Codespace 時，因為內建的 GitHub Copilot 會自動將 issue 的描述作為提示來產生回應。

攻擊者可利用 HTML 註解標籤（<!the_prompt_goes_here>）將提示隱藏在 GitHub issue 中，讓攻擊更加隱蔽。特製的提示會指示 AI 助理將 GITHUB_TOKEN 外洩到攻擊者控制的伺服器。透過操控 Copilot 檢出包含符號連結的特製拉取請求，攻擊者能讓 Copilot 讀取內部檔案，並透過遠端 JSON $schema 將特權 GITHUB_TOKEN 外洩出去。

從提示注入到 Promptware

微軟發現，通常用於微調 LLM 的強化學習技術 GRPO（Group Relative Policy Optimization）也能用來移除模型的安全功能，這個過程被命名為 GRP-Obliteration。更重要的是，研究顯示單一個未標記的提示就足以讓 15 個語言模型失去安全對齊。

此外，研究人員發現多種側通道（Side Channel）攻擊手法，可推斷使用者的對話主題，甚至能以超過 75% 的準確率識別使用者查詢。這些攻擊利用 LLM 用來提升效能的推測性解碼（Speculative Decoding）最佳化技術。

AI 資安業者 HiddenLayer 揭露了名為 Agentic ShadowLogic 的技術，透過在計算圖層級植入後門，讓攻擊者能在使用者不知情下靜默修改工具呼叫（Tool Call）。攻擊者可利用此後門攔截從 URL 擷取內容的請求，將其導向攻擊者控制的基礎設施，再轉發到真實目的地。

另外，新型影像越獄攻擊 Semantic Chaining 能繞過 Grok 4、Gemini Nano Banana Pro 和 Seedance 4.5 等模型的安全過濾器。此攻擊利用模型缺乏「推理深度」，無法追蹤多步驟指令中的潛在意圖。攻擊者透過一系列看似無害的編輯，逐步削弱模型的安全防護。

Promptware：新型態惡意軟體執行機制

研究人員指出，提示注入已演變為稱為 Promptware 的新型態惡意軟體執行機制。Promptware 能操控 LLM 執行典型網路攻擊生命週期的各階段，包括初始存取、權限提升、偵察、持久化、命令與控制、橫向移動，以及惡意結果（例如資料竊取、社交工程、程式碼執行或金融詐騙）。

研究人員將 Promptware 定義為一系列經過設計的多型提示，透過濫用應用程式的情境、權限和功能來操控 LLM 執行惡意活動。簡單來說，Promptware 是一種輸入內容，可以是文字、影像或音訊，能在推論時操控 LLM 的行為，對應用程式或使用者發動攻擊。

本文轉載自 TheHackerNews。