歡迎登入資安人
若您還不是會員,請點選下方加入會員
忘記密碼
加入資安人會員
登入
新聞
觀點
專題
解決方案
活動
訂閱電子報
資安人粉絲團
聯絡我們
關於我們
合作詢問
隱私權政策
香港商法蘭克福展覽有限公司台灣傳媒分公司
110 台北市信義區市民大道六段288號8F
886-2-8729-1099
新聞
觀點
專題
解決方案
活動
訂閱電子報
登入
登入
訂閱電子報
新聞
觀點
專題
解決方案
活動
新聞
您現在位置 : 首頁 >
新聞
人多力量大!NVIDIA 和生成式紅隊挑戰賽審查 AI 安全
2023 / 08 / 17
編輯部
管理顧問公司麥肯錫估計,生成式AI每年可以在全球63個使用情形中為全球經濟增加相當於2.6兆美元到4.4兆美元。這使得安全性和信任成為整個產業共同關注的問題。NVIDIA正與駭客社群合作,建立測試下一代人工智慧的最佳實踐方法,包括對 NVIDIA NeMo 和 NeMo Guardrails 等大型語言模型進行首次測試。
在美國拉斯維加斯舉行的 Black Hat 和 DEF CON活動中,由 AI Village、SeedAI和Humane Intelligence主持的生成式紅隊挑戰賽 (Generative Red Team Challenge) 是實際檢驗新興人工智慧技術的首次機會。數千名DEF CON參與者將能演示快速注入、嘗試引發不道德行為並測試其他技術以獲得不適當的回應。
SeedAI創辦人暨生成式紅隊挑戰賽主辦者Austin Carson說:「人工智慧使個人能夠創造和建構以前不可能實現的事物,但若沒有一個龐大且多元的社群來測試和評估這項技術,人工智慧將只是反映其創造者,而將大部分社會拋在身後。」
NVIDIA於四月份以開源軟體的形式發布了NeMo Guardrails,幫助開發人員引導生成式人工智慧應用程式創造令人印象深刻、保持在正軌上的文字回應,確保智慧的、大型語言模型驅動的應用程式是準確的、適當的、與主題相關且安全的。
為確保透明度並使這項技術能夠在各種環境中發揮作用,經過數年研究的NeMo Guardrails是開源的,而且大部分的NeMo對話式人工智慧框架已經以開源程式碼的形式在GitHub上提供,為開發者社群在AI安全做出貢獻。
與DEF CON社群的互動進一步擴展了這一點,使NVIDIA能夠分享它在NeMo Guardrails方面所學到的知識,同時也從社群中學習。
在Black Hat會議上,NVIDIA舉辦了為期兩天的機器學習培訓課程。在DEF CON,NVIDIA贊助了一場關於侵入基板管理控制器風險的演講。這些專用的服務處理器監控電腦、網路伺服器或其他硬體裝置的物理狀態。
並透過AI Village快速檢測研討會(AI Village Prompt Detective)中的生成式紅隊挑戰賽 (Generative Red Team Challenge),數千名DEF CON參與者將能演示快速注入、嘗試引發不道德行為並測試其他技術以獲得不適當的回應。
AI安全
LLM
生成式AI
最新活動
2025.02.19
2025資安365年會
2025.02.11
【2025 叡揚資安趨勢講堂】
2025.02.15
2025年ipas資訊安全工程師(初級/中級)-能力培訓班
看更多活動
大家都在看
Cloudflare CDN漏洞恐洩露用戶位置資訊
Microsoft Outlook發現嚴重RCE漏洞,已遭駭客利用攻擊
思科修補Meeting Management重大權限漏洞,可導致遠端提權攻擊
美國制裁中國資安公司涉及「鹽颱風」駭客集團入侵事件
Cloudflare緩解史上最大規模5.6Tbps DDoS攻擊,台灣是攻擊熱區
資安人科技網
文章推薦
鎖定華語使用者!假Chrome下載網站散布ValleyRAT木馬程式
Microsoft Outlook發現嚴重RCE漏洞,已遭駭客利用攻擊
駭客利用 SimpleHelp RMM 漏洞發動持續性攻擊與勒索軟體入侵