NVIDIA在美國西雅圖舉辦的國際電腦視覺與圖型識別會議(CVPR)期間宣布推出隸屬Omniverse的微服務NVIDIA Omniverse Cloud Sensor RTX；NVIDIA Omniverse Cloud Sensor RTX是一項基於符合真實世界物理原則的精確感測器模擬技術，使在Omniverse開發、測試與驗證自主機器時，能使機器人的感測器在Omniverse建構的數位孿生環境以更趨近真實，進而加速各式完全自主機器的開發，諸如自駕車、人型機器人、工業機器手臂、自主載具機器人。
目前NVIDIA Omniverse Cloud Sensor RTX已經在NVIDIA開發者平台開放搶先測試，預計在2024年推出正式版本。NVIDIA Developer
此外NVIDIA旗下研究機構NVIDIA Research也預計在CVPR期間公布50篇以上的論文，介紹AI如何在創意產業、自動駕駛載具開發、醫療保健與機器人領域發揮效用與創新。此外NVIDIA Research也獲得CVPR的自動駕駛大挑戰取得大規模端到端模擬第一名。
NVIDIA Omniverse Cloud Sensor RTX是透過OpenUSD框架建構，結合NVIDIA RTX光線追蹤與神經渲染技術，透過影片、攝影機、雷達、光達取得的真實資料與合成資料相互結合，使NVIDIA Omniverse Cloud Sensor RTX能夠模擬真實世界的感測器；借助AI基於物理原則建構的合成資料場景，使NVIDIA Omniverse Cloud Sensor RTX可模擬廣泛的活動，諸如確認機器手臂在不同條件的運作狀況、機場輸送帶的流暢程度、機器人移動路線遭遇不同類型阻礙的決策，或是與人類進行協作的安全性等。
▲NVIDIA取得CVPR自動駕駛挑戰賽獲勝
NVIDIA Research繼2023年在3D占用狀況預測獲勝，2024年NVIDIA Research再度取得CVPR自動駕駛大挑戰透過Hydra-MPD模型擊敗400多個參賽作品取得大規模端到端模擬的工作流程；藉助NVIDIA Omniverse Cloud Sensor RTX在高解析模擬環境進行真實設備的複製，使自動駕駛載具模擬開發人員可在與真實物理相同的環境測試自動駕駛在不同場景的情況，並透過NVIDIA OVX系統執行測試與驗證，在將驗證後的自主駕駛模型部署到真實世界。另外NVIDIA Research還透過結合視覺語言模型與自動駕駛的連接，整合大型語言模型協作決策，實現可概括與解釋的駕駛行為，並以此取得CVPR語言駕駛自動駕駛大挑戰的第二名。
