在近日召開的 5G 移動世界大會上，英偉達（Nvidia）聯合創始人兼執行長（CEO）黃仁勳宣佈了 Nvidia Jarvis 。

作為一種多模式人工智慧（AI）開源軟體的開發套件（SDK），它能夠將語音、視覺和其它感測器，整合到一個 AI 系統中。

換言之，藉助 Nvidia Jarvis，開發者能夠構建和部署融合視覺、語音和其它感測器的 AI 應用程式。

（來自：Nvidia，via Neowin）

據悉，Nvidia Jarvis 提供完整的工作流，來構建、訓練和部署基於 GPU 加速的 AI 系統。這套系統用於手勢、凝視等視覺提示，以及情境語音。

如前所述，Jarvis 是該公司試圖同時處理來自不同感測器的多個輸入的嘗試。這種方法的背後，旨在幫助構建上下文，在基於對話的 AI 應用程式中，準確地預測和生成響應。

此外，Nvidia Jarvis 包含了可根據使用者需求而進行調整的模組。對於視覺類應用，Jarvis 具有用於人員檢測和跟蹤、手勢、唇部活動、注視、以及身體姿勢檢測的模組。

對於語音類應用，Jarvis 可以分析情感、對話建模、以及意圖和實體分類。為將這些功能整合到系統中，Nvidia 已採用融合演算法來同步這些模型的工作。

Nvidia 聲稱，基於 Jarvis 的應用程式，在與 Nvidia 神經模組（NeMo）結合時效果最佳。NeMo 是一個與框架無關的工具包，用於建立圍繞神經模組構建的 A I應用程式。

基於雲的應用程式，亦可使用 EGX 平臺，部署和使用基於 Jarvis 開發的服務。Jarvis 在 Nvidia EGX 堆疊上執行，該公司自詡為全球首個邊緣計算超算平臺，且與 Kubernetes 基礎架構相容。

最後，Jarvis 現已開放早期訪問，感興趣的朋友可註冊並登入 Nvidia 賬戶，以申請早期訪問。