NVIDIA將生成式 AI 工具、模擬及感知工作流程 導入ROS 開發者生態系
NVIDIA 此次發表的技術包含 Isaac ROS 和 Isaac Sim，並搭配專屬的開發者指南，為 ROS 開發者提供最新的生成式 AI 節點和工作流程，這些技術可輕鬆部署至 NVIDIA Jetson 平台，實現邊緣 AI 和機器人應用。同時，Isaac Sim 的物理基模擬技術，讓開發者能在實際部署之前進行模擬與驗證 AI 模型，生成式 AI 進一步讓機器人具備感知、理解環境並自主作出決策的能力。
生成式 AI 正在加速融入 ROS 社群。基於 ROS 2 架構的 ReMEmbR 結合大型語言模型（LLM）、視覺語言模型（VLM）及檢索增強生成技術，增強了機器人的推理與行動能力，讓機器人在環境中能更加靈活地導航和互動。
此外，NVIDIA 針對語音識別技術推出 WhisperTRT ROS 2 節點，該節點基於 NVIDIA TensorRT 將 OpenAI 的 Whisper 模型最佳化，實現低延遲的語音識別，使 Jetson 平台上的機器人能夠更靈敏地回應語音指令，提供更加順暢的人機互動體驗。
在語音控制領域，ROS 2 機器人專案通過整合 NVIDIA Riva ASR-TTS 服務，實現機器人對語音指令的理解和回應能力。美國 NASA 噴射推進實驗室 (JPL) 展示了 AI 驅動的 ROSA 代理，該代理運行於 Nebula-SPOT 機器人上，並在 Isaac Sim 環境中進行演示。
同時，Canonical 展示了 NanoOWL，這款基於 Jetson Orin Nano 模組的零樣本目標偵測模型，能夠即時識別物體，且無需依賴預先定義的分類，進一步提升機器人的實時應用能力。
ROS 開發者現在已經可以使用由 NVIDIA Jetson 平台優化的大型語言模型及視覺語言模型來強化機器人的能力，這些新功能將帶動 ROS 2 節點生成式 AI 的廣泛應用。
模擬技術對於驗證 AI 驅動的機器人至關重要，Isaac Sim 是一款基於 OpenUSD 和 RTX 技術的模擬應用，為開發者提供虛擬環境進行測試。NVIDIA 也推出了《使用 Isaac Sim 的 ROS 2 工作流程初學者指南》，幫助開發者從模擬到部署的全程工作流程。
Foxglove 作為 NVIDIA Inception 計畫成員之一，展示了整合功能，開發者可通過其客製化擴展，實時檢視模擬數據並進行除錯，進一步增強模擬應用。
NVIDIA 也宣布 Isaac ROS 3.2 版本的發佈，新版本在感知、操作及環境映射等領域進行了全面升級，包括全新機器人工作流程與多攝影機偵測功能，適用於自主移動機器人（AMR）等應用。
點擊閱讀下一則新聞
鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。
標題：NVIDIA將生成式 AI 工具、模擬及感知工作流程 導入ROS 開發者生態系
地址：https://www.twnewsletter.com/article/53883.html