輝達推出開放式 AI 代理安全平台，以 OpenShell 與 Sentry 限縮代理行為

輝達（NVIDIA）近日推出開放式 AI 代理安全平台（Open Agent Safety Platform），結合軟體執行階段控管與硬體層監控，目標是讓 AI 代理（AI agent）始終維持在組織設定的權限範圍內。外媒指出，該平台包含負責控管代理存取權限的 OpenShell，以及在參考設計中以獨立硬體監控代理活動的 Sentry，企業可依需求選擇部署其中部分元件。

因應代理逃出測試環境與越權存取事件

輝達表示，AI 代理逃出測試環境、未經許可存取系統等事件，是推動這項平台開發的原因之一，也引發外界對於代理開發步調是否應放緩的討論。

輝達指出，代理在遇到動作被阻擋、程式錯誤、缺少工具或指令不明確等情況時，也可能偏離原本被指派的任務。任務執行時間越長，這類風險越容易擴大，因此需要獨立的安全控管機制。

三層架構協同運作

輝達將平台分為三層，於代理執行任務時協同運作。應用層包含代理使用的 AI 模型、工具與資料；執行階段層（runtime layer）負責將代理部署到運算系統上、監控其活動並落實存取規則；最底層的基礎設施層則提供執行代理所需的硬體、網路連線與其他資源。

OpenShell控管執行階段

OpenShell 運作於執行階段層，讓代理在隔離環境中執行，並在作業期間對檔案、網路、程序等資源存取落實政策控管。輝達表示，OpenShell 在其 Vera CPU 上執行時額外負擔極低；且因為是開源軟體，可延伸到包括 Arm 與 Intel 在內的其他運算平台。

Sentry從獨立硬體監控代理

Sentry在基礎設施層增設控管，運作於輝達 BlueField-4 資料處理器（Data Processing Unit，DPU）上，並透過輝達 DOCA 軟體監控代理活動、執行存取政策。若代理試圖跨越其軟體邊界，Sentry 可將其隔離並停止運作。

在輝達的 Vera Rubin POD 設計中，BlueField-4 位於代理連接 AI 模型的路徑上，使 Sentry 能獨立於代理本身進行監控。不過，Sentry屬於平台參考系統設計的一部分，需要支援的硬體才能使用。

業界表態與取得方式

輝達執行長黃仁勳表示，AI 對社會的非凡潛力，唯有在我們解決 AI 安全問題之後才能實現。他指出，安全需要全端工程，這個平台將匯集產業、研究人員與公部門組織，分享最佳實務、對齊評估方法並促進國際合作。

Scale AI 執行長 Francis deSouza 表示，該公司正使用此參考設計，為執行關鍵任務應用的企業與政府客戶打造可靠的代理式 AI 系統，並從一開始就內建隔離、政策執行與可稽核性。「我們支持以明確界線定義代理能做什麼的代理式安全，並以控制機制讓代理在被授予的權限內運作。」

輝達表示，平台軟體包括 OpenShell 與相關技能（skills），已透過其開發者資源與 GitHub 提供。

本文轉載自 HelpNetSecurity。