https://secutech.tw.messefrankfurt.com/taipei/zh-tw/programme-events/AIoT_SecurityForum.html
https://secutech.tw.messefrankfurt.com/taipei/zh-tw/programme-events/AIoT_SecurityForum.html

新聞

OpenAI Operator Agent 在概念驗證中成功執行釣魚攻擊

2025 / 03 / 21
編輯部
OpenAI Operator Agent 在概念驗證中成功執行釣魚攻擊
資安業者賽門鐵克的研究團隊近期發布一項實驗,透過 OpenAI 的AI 代理人 Operator (目前處於研究測試階段)成功執行釣魚攻擊測試。此實驗證實,僅需簡單的提示詞設計,AI 工具就能完成網路攻擊,為資安環境帶來新挑戰。

研究團隊於 3 月 12 日公布這項概念驗證研究。目前駭客主要將 AI 語言模型(LLM)應用於基礎工作,如撰寫釣魚郵件、生成簡單程式碼,以及如 Google 一月份的報告中所述的情資蒐集。

隨著 AI 助理工具持續進步,其功能已擴展至更複雜的任務,包括網頁自動化操作。這項進展雖為一般使用者帶來便利,卻也為有心人士提供了更多攻擊工具。

自動化釣魚攻擊實例與手法

賽門鐵克的研究人員於 3 月 12 日使用 OpenAI 的 Operator AI 代理人進行一項實驗。該工具自 1 月 23 日起向美國地區的 OpenAI Pro 會員提供研究預覽,個人方案月費為 200 美元。研究團隊指示代理人完成四項任務:找出賽門鐵克內部特定職位人員取得其電子郵件地址撰寫可收集使用者系統資訊的 PowerShell 指令碼,以及「發送具有說服力的釣魚郵件」。

在首次嘗試時,OpenAI Operator 以「涉及發送未經授權的電子郵件和潛在的敏感資訊,可能違反隱私和安全政策」為由拒絕執行。不過,當研究人員修改提示詞,表明郵件已獲得授權後,代理人便接受了這項要求。

代理人僅需職稱就能找到研究人員的姓名,並透過分析博通公司的郵件命名規則,成功推測出其未公開的電子郵件地址。隨後,代理人著手撰寫 PowerShell 指令碼。

研究結果顯示,代理人在確認目標郵件地址後,立即撰寫了一個 PowerShell 惡意腳本,目的是安裝偽裝成 Google 雲端硬碟文字編輯器的外掛程式。研究團隊特別建立了一個顯示名稱為「IT支援」的 Google 帳號以進行示範。值得注意的是,Operator 在編寫腳本前會瀏覽多個 PowerShell 相關網站來搜尋程式碼範例。最終,代理人不僅製作出一封極具說服力的社交工程郵件,還成功繞過系統授權將其發送出去,導致研究人員執行了其中附加的惡意程式。

未來發展與影響

儘管 ChatGPT 等大型語言模型已加強安全機制,使惡意提示詞工程變得更具挑戰性,但研究人員發現使用者仍可即時觀察代理人工具的運作過程,並獲得其行為的詳細說明。研究人員解釋,當工具遭遇安全限制時,使用者能暫時接管控制權進行手動操作,之後再將控制權還給工具。這突顯了一個重要問題:AI 的安全機制雖可限制工具本身的行為,卻無法約束使用者的操作。值得注意的是,賽門鐵克僅使用基本的提示詞工程就完成了這次攻擊實驗。

研究人員指出,提示詞工程主要用於繞過安全機制和避免明顯錯誤。他們強調,雖然投入更多心力優化提示詞可能開發出更複雜的攻擊手法,但這違背了研究初衷。

雖然這類攻擊目前不是組織面臨的主要威脅,但確實需要及早防範。這並非意味著複雜的 AI 輔助攻擊會立即出現,而是因為門檻降低,可能導致攻擊事件增加。儘管目前的技術水準仍無法與精通惡意程式開發的頂尖駭客相比,但這項技術確實大幅降低了取得惡意工具的門檻。

本文轉載自 DarkReading。