人多力量大!NVIDIA 和生成式紅隊挑戰賽審查 AI 安全

管理顧問公司麥肯錫估計，生成式AI每年可以在全球63個使用情形中為全球經濟增加相當於2.6兆美元到4.4兆美元。這使得安全性和信任成為整個產業共同關注的問題。NVIDIA正與駭客社群合作，建立測試下一代人工智慧的最佳實踐方法，包括對 NVIDIA NeMo 和 NeMo Guardrails 等大型語言模型進行首次測試。
 
在美國拉斯維加斯舉行的 Black Hat 和 DEF CON活動中，由 AI Village、SeedAI和Humane Intelligence主持的生成式紅隊挑戰賽 (Generative Red Team Challenge) 是實際檢驗新興人工智慧技術的首次機會。數千名DEF CON參與者將能演示快速注入、嘗試引發不道德行為並測試其他技術以獲得不適當的回應。
 
SeedAI創辦人暨生成式紅隊挑戰賽主辦者Austin Carson說：「人工智慧使個人能夠創造和建構以前不可能實現的事物，但若沒有一個龐大且多元的社群來測試和評估這項技術，人工智慧將只是反映其創造者，而將大部分社會拋在身後。」
 
NVIDIA於四月份以開源軟體的形式發布了NeMo Guardrails，幫助開發人員引導生成式人工智慧應用程式創造令人印象深刻、保持在正軌上的文字回應，確保智慧的、大型語言模型驅動的應用程式是準確的、適當的、與主題相關且安全的。
 
為確保透明度並使這項技術能夠在各種環境中發揮作用，經過數年研究的NeMo Guardrails是開源的，而且大部分的NeMo對話式人工智慧框架已經以開源程式碼的形式在GitHub上提供，為開發者社群在AI安全做出貢獻。
 
與DEF CON社群的互動進一步擴展了這一點，使NVIDIA能夠分享它在NeMo Guardrails方面所學到的知識，同時也從社群中學習。
 
在Black Hat會議上，NVIDIA舉辦了為期兩天的機器學習培訓課程。在DEF CON，NVIDIA贊助了一場關於侵入基板管理控制器風險的演講。這些專用的服務處理器監控電腦、網路伺服器或其他硬體裝置的物理狀態。
 
並透過AI Village快速檢測研討會(AI Village Prompt Detective)中的生成式紅隊挑戰賽 (Generative Red Team Challenge)，數千名DEF CON參與者將能演示快速注入、嘗試引發不道德行為並測試其他技術以獲得不適當的回應。