Arm 推出 Armv9 邊緣 AI 運算平台，推動物聯網實現新一代效能

Arm 控股有限公司發佈其 Arm v9 邊緣人工智慧 （AI）運算平台，該平台以全新的 Arm Cortex-A320 CPU 和邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心，可支援運行超過 10 億個參數的邊緣端 AI 模型。
 
Arm 資深副總裁暨物聯網事業部總經理 Paul Williamson 表示，AI 的革新已不再侷限於雲端。隨著世界的互聯和智慧化水準的日益提升，從智慧城市到工業自動化，在邊緣端處理 AI 工作負載不僅帶來顯著的優勢，其必要性更是不可或缺。專為物聯網打造的 Armv9 邊緣 AI 運算平台的推出，說明了此一發展趨勢已邁入了重要的里程碑。

Armv9 邊緣 AI 運算平台—在邊緣端整合效率、安全和智慧

為了快速創新和擴展，OEM 廠商需要在合適的位置靈活執行 AI 工作負載，以實現更強大的安全性和更高的軟體靈活性，Armv9 技術正是能在大規模應用中滿足這些需求的理想之選。Arm 此次發佈的運算平台整合了全新的超高效率 Armv9 CPU—Cortex-A320 和支援 Transformer 運算子網路的  Ethos-U85 NPU，打造出全球首個專為物聯網優化的 Armv9 邊緣 AI 運算平台。相較於去年推出的基於 Cortex-M85 的平台，新的邊緣 AI 運算平台的機器學習（ML）效能提高了八倍。
 
Arm 技術的廣泛應用，使得合作夥伴現在能夠在從雲端到邊緣端的各種運算場景中部署 Armv9 技術。從授權該技術以建構 SoC 晶片的合作夥伴，到建構次世代裝置的 ODM 和 OEM 廠商，該平台受到包括亞馬遜網路服務公司（AWS）、西門子、瑞薩電子、研華科技和 Eurotech 在內的多家合作夥伴的支持。 

Cortex-A320 為下一代智慧物聯網裝置奠定安全基礎

Cortex-A320 為物聯網帶來了 AI 功能和開發人員優勢，將 Armv9 架構的功能擴展到高效率的裝置，並提供全面的軟體支援。
 
Cortex-A320 充分發揮了 Armv9 架構的優勢，例如針對 ML 效能的 SVE2。相較於前代產品 Cortex-A35，Cortex-A320 的 ML 效能提升了十倍，純量效能提升了 30%。
 
該平台所採用的 Armv9.2 架構還為最小的 Cortex-A 裝置帶來了安全功能，例如指標驗證 （PAC）、分支目標識別（BTI）和記憶體標籤擴充（MTE）。這一功能相當重要，因為邊緣裝置通常在暴露的環境中運行並處理敏感性資料。
 
隨著邊緣 AI 在 Arm 平台上持續整合，這一全新產品的加入使 Arm 現已能為物聯網提供 Armv9 Cortex 處理器系列，範圍從極致效能到成本和電源受限的裝置。

將 Arm Kleidi 擴展到物聯網

邊緣 AI 普及所面臨的最主要障礙之一就是軟體發展和部署的複雜性，這正是 Armv9 邊緣 AI 運算平台軟體生態系可展現優勢的關鍵所在。Arm 將 Arm Kleidi 擴展到物聯網，這是一套針對 AI 框架開發人員的運算庫，其目標在於優化基於 Arm CPU 的 AI 和 ML 工作負載，無需開發人員額外操作。KleidiAI 已整合到常見的物聯網 AI 框架中，如 Llama.cpp 和 ExecuTorch 或 LiteRT（透過 XNNPACK），加速了 Meta Llama 3 和 Phi-3 等關鍵模型的效能。例如，在 Llama.cpp 上運行微軟的 Tiny Stories 資料集時，KleidiAI 為新的 Cortex-A320 帶來了高達 70% 的效能提升。
 
新的邊緣 AI 運算平台確保了與高效能 Cortex-A 處理器在軟體層面的無縫相容。這種可擴展性使開發人員能夠打造可隨需求變化而靈活調整的解決方案。借助龐大的 Armv9 生態系，以及與 Linux 等功能豐富的作業系統和 Zephyr 等即時操作系統的相容性，開發人員擁有了靈活性。他們可以充分運用現有的工具和知識，以及軟體重複使用的優勢，進而加快產品上市時間，並降低總體擁有成本。
 
展望未來， AI 的未來趨勢將轉向邊緣，而全新 Arm 邊緣 AI 運算平台將成為新一波物聯網創新的催化劑。Armv9 平台能夠支援在基於代理人的 AI 應用上運行經過調校的大型語言模型（LLM）和小型語言模型 （SLM），進而開闢全新類別的邊緣應用場景。在未來的場景中，智慧決策將更接近資料獲取源頭，這不僅能大幅減少延遲，還能有效提升隱私保護水準。