資安研究人員最近發現一名為 HashJack 的間接提示注入(Indirect Prompt Injection)漏洞,能將任何合法網站變成攻擊武器,對 AI 瀏覽器使用者構成嚴重威脅。
HashJack:隱藏在URL中的惡意指令
資安業者 Cato Networks 研究團隊指出,
HashJack 是第一個能將任何合法網站武器化的漏洞,可影響 Comet、Copilot for Edge 和 Gemini for Chrome 等 AI 瀏覽器。這種攻擊手法的特殊之處在於:
惡意提示被隱藏在 URL 的井號(#)符號後方。AI 瀏覽器會處理這段文字,網頁伺服器卻完全看不到這些內容。
攻擊者可透過電子郵件、社群媒體或網頁嵌入方式分享含有惡意指令的連結。受害者點擊連結並載入頁面時,表面上不會看到任何可疑之處。但當使用者啟動 AI 瀏覽器詢問相關問題時,就可能觸發攻擊者預先設定的惡意指令。
由於 URL 片段(URL Fragment)從未離開 AI 瀏覽器,傳統的網路和伺服器防禦機制(如入侵偵測系統 IDS)根本無法察覺。任何網站都可能被用來發動攻擊,即使謹慎的使用者也難以倖免。
濫用使用者信任的攻擊手法
HashJack 利用使用者對真實網站的信任發動攻擊。惡意片段嵌入在真實網站的 URL 中,使用者會認為內容安全,但隱藏的指令卻在暗中操控 AI 瀏覽器助理。在具備代理功能的 AI 瀏覽器(如 Comet)中,攻擊可能進一步升級:AI 助理會自動將使用者資料傳送到攻擊者控制的端點。
攻擊者可利用 HashJack 達成多種目的。例如,
指示 AI 瀏覽器添加指向攻擊者電話號碼或 WhatsApp 群組的假冒安全支援連結,藉此進行回撥網路釣魚(Callback Phishing)。另一種手法是
命令具備代理功能的 AI 瀏覽器擷取惡意網址,同時附上使用者的帳號名稱、號碼和電子郵件地址等資訊,藉此外洩資料。
其他攻擊情境包括:在 AI 瀏覽器回應中注入錯誤資訊,使其看似來自合法網站;指示 AI 瀏覽器執行惡意操作,例如開啟連接埠或下載含有惡意軟體的套件;或要求 AI 瀏覽器在回應中插入攻擊者控制的登入連結,藉此竊取使用者憑證。
截至 11 月 25 日,Perplexity 和微軟已針對 Comet 和 Copilot for Edge 推出修補程式,但 Gemini for Chrome 仍未修復。值得注意的是,
HashJack 不影響 Claude for Chrome 和 OpenAI 的 Atlas 瀏覽器。
代理AI使提示注入威脅更加嚴峻
隨著 ChatGPT Atlas 等 AI 驅動的網頁瀏覽器將代理功能帶給更多使用者,針對大型語言模型(LLM)的提示注入攻擊可能變得更加嚴重。OpenAI 於 10 月 21 日推出的 Atlas 瀏覽器基於 Chromium 架構,目前提供 macOS 版本,內建 ChatGPT 功能,包括文字生成、網頁摘要和代理能力。
提示注入是透過自然語言提示,讓大型語言模型執行非預期操作的攻擊手法。這種攻擊分為兩種形式:直接提示注入是向聊天機器人提出特定問題,誘使其洩露敏感的公司文件;
間接提示注入則更為複雜,攻擊者在非直接指示 LLM 的情境中插入惡意提示。例如在電子郵件內容中隱藏惡意指令,讓 AI 助理讀取並執行;或在網頁中加入隱藏元素,讓代理在工作時無意間接收。
雖然 AI 供應商多年來透過在模型上堆疊防護機制來減少提示注入問題,但代理技術的出現讓情況更加複雜。大型語言模型本身就有洩露敏感資料的歷史,當它們被賦予使用工具的權限時,就為組織開啟了巨大的提示注入攻擊向量。
安全專家的警告
OWASP 列出的代理 AI 威脅清單令人擔憂。提示注入可使模型利用編碼工具創造新漏洞、執行遠端程式碼攻擊(RCE),甚至危害整個代理網路。雖然這些攻擊類型目前尚未被威脅行為者廣泛利用,但代理仍屬新興的 LLM 類別。
瀏覽器資安公司 LayerX 在10月底回報了 Atlas 瀏覽器的第一個漏洞,攻擊者可能利用該漏洞將惡意指令注入瀏覽器記憶體。LayerX 共同創辦人兼執行長 Or Eshed 表示,我們需要更加關注 AI 如何嵌入瀏覽器。
未來半年內這些瀏覽器會變得越來越強大,但讓產品更成功的因素,也會讓攻擊者更高興:這是一把雙面刃。
OpenAI 資安長 Dane Stuckey 在 Atlas 推出隔天發文指出,提示注入仍是一個前沿的未解決安全問題。攻擊者將投入大量時間和資源,試圖讓 ChatGPT 代理上當。
專家指出,提示注入在某些方面雖有改善,但在代理領域卻更加複雜。代理能存取的每個工具,以及工具之間的每次互動,都是提示注入可利用的額外攻擊向量。此外,代理無法像人類員工那樣承擔責任。
此外,專家預期隨著代理普及,提示注入問題在近中期內會「變得更糟」。當代理獲得自主權和工具存取權限後,提示注入的威脅將從「讓模型說出奇怪的話」升級為「讓模型做出危險的事」。
防護建議
針對想要嘗試代理 AI 的組織或負責實施代理的資安長,專家提供以下建議:
- 定期進行人工審查,確認代理可存取的工具和資料,確保僅限於必要資源
- 實施嚴格的最小權限存取控制
- 在隔離的沙箱環境中執行工具
- 在每個環節設置防護機制,而非僅在使用者輸入和輸出端
- 針對高風險操作納入人工審核
「更好的提示」無法解決提示注入問題。改善此問題需要同時滿足以下條件:在架構上限制代理的權限;工具使用遵循最小權限原則並在沙箱中執行;以及預設將所有不可信內容視為惡意。
本文轉載自 DarkReading、InfosecurityMagazine。