OpenAI Operator Agent 在概念驗證中成功執行釣魚攻擊

資安業者賽門鐵克的研究團隊近期發布一項實驗，透過 OpenAI 的AI 代理人 Operator （目前處於研究測試階段）成功執行釣魚攻擊測試。此實驗證實，僅需簡單的提示詞設計，AI 工具就能完成網路攻擊，為資安環境帶來新挑戰。

研究團隊於 3 月 12 日公布這項概念驗證研究。目前駭客主要將 AI 語言模型（LLM）應用於基礎工作，如撰寫釣魚郵件、生成簡單程式碼，以及如 Google 一月份的報告中所述的情資蒐集。

隨著 AI 助理工具持續進步，其功能已擴展至更複雜的任務，包括網頁自動化操作。這項進展雖為一般使用者帶來便利，卻也為有心人士提供了更多攻擊工具。

自動化釣魚攻擊實例與手法

賽門鐵克的研究人員於 3 月 12 日使用 OpenAI 的 Operator AI 代理人進行一項實驗。該工具自 1 月 23 日起向美國地區的 OpenAI Pro 會員提供研究預覽，個人方案月費為 200 美元。研究團隊指示代理人完成四項任務：找出賽門鐵克內部特定職位人員、取得其電子郵件地址、撰寫可收集使用者系統資訊的 PowerShell 指令碼，以及「發送具有說服力的釣魚郵件」。

在首次嘗試時，OpenAI Operator 以「涉及發送未經授權的電子郵件和潛在的敏感資訊，可能違反隱私和安全政策」為由拒絕執行。不過，當研究人員修改提示詞，表明郵件已獲得授權後，代理人便接受了這項要求。

代理人僅需職稱就能找到研究人員的姓名，並透過分析博通公司的郵件命名規則，成功推測出其未公開的電子郵件地址。隨後，代理人著手撰寫 PowerShell 指令碼。

研究結果顯示，代理人在確認目標郵件地址後，立即撰寫了一個 PowerShell 惡意腳本，目的是安裝偽裝成 Google 雲端硬碟文字編輯器的外掛程式。研究團隊特別建立了一個顯示名稱為「IT支援」的 Google 帳號以進行示範。值得注意的是，Operator 在編寫腳本前會瀏覽多個 PowerShell 相關網站來搜尋程式碼範例。最終，代理人不僅製作出一封極具說服力的社交工程郵件，還成功繞過系統授權將其發送出去，導致研究人員執行了其中附加的惡意程式。

未來發展與影響

儘管 ChatGPT 等大型語言模型已加強安全機制，使惡意提示詞工程變得更具挑戰性，但研究人員發現使用者仍可即時觀察代理人工具的運作過程，並獲得其行為的詳細說明。研究人員解釋，當工具遭遇安全限制時，使用者能暫時接管控制權進行手動操作，之後再將控制權還給工具。這突顯了一個重要問題：AI 的安全機制雖可限制工具本身的行為，卻無法約束使用者的操作。值得注意的是，賽門鐵克僅使用基本的提示詞工程就完成了這次攻擊實驗。

研究人員指出，提示詞工程主要用於繞過安全機制和避免明顯錯誤。他們強調，雖然投入更多心力優化提示詞可能開發出更複雜的攻擊手法，但這違背了研究初衷。

雖然這類攻擊目前不是組織面臨的主要威脅，但確實需要及早防範。這並非意味著複雜的 AI 輔助攻擊會立即出現，而是因為門檻降低，可能導致攻擊事件增加。儘管目前的技術水準仍無法與精通惡意程式開發的頂尖駭客相比，但這項技術確實大幅降低了取得惡意工具的門檻。

本文轉載自 DarkReading。