NVIDIA 在今年 SIGGRAPH 宣布多項技術更新,其中針對近日在包括設計、模擬等領域被大量導入的 Omniverse 協作平台進行大幅度的更新,加入全新的 USD Connector 與多項工具、模擬技術與開發人員框架,包括 Avatar Cloud Engine , DeepSearch AI 3D 搜尋引擎,針對稀疏體積資料結合人工智慧的 NeuralVDB ,用於打造科學數位孿生模型的 NVIDIA Modulus ,與包括 PhysX 、 MDL 等更新。
Omniverse 在此次新增多項內容,橫跨 AI 工具與功能,並使藝術家、開發人員、工程師能更輕鬆打造虛擬世界與相關內容,同時可連接到當前主流的 3D 應用程式,包括 PTC Creo 、 SlideFX Houdini 、 Unity 、 Siemens Xcelerator 平台等。
此次在基本應用程式與框架提供多項功能,在 Omniverse 工具套件部分,針對影響物理效果的 PhysX 進行重大更新,包括即時與多 GPU 可擴充的柔體與粒子布料模擬等;另外也加入全新 OmniLive 工作流程,借助 USD 通用場景敘述橫跨多個 3D 應用程式,並提供非破壞性工作流程。
新應用程式與框架
▲ Audio2Face 新功能結合推論技術產生臉部情緒與賦予臉部特徵
對創作 3D 相關部分,此次也針對 Omniverse Audio2Face 增添新功能,此工具能透過聲音檔自動產生臉部動畫,在此次更新借助推論與產生臉部情緒與賦予臉部特徵提升 AI 製作的臉部動畫水準; Omniverse Machinima 是與遊戲開發商合作的 3D 電影與動畫應用程式,此次加入來自包括戰爭附言( Post Scriptum )、 Beyound Wire 與影武者 3 ( Shadow Warrtior 3 )增添數百個免費 3D 素材,同時加入全新 AI 動畫工具,包括可透過聲音檔產生逼真手臂與身體動作的 Audio2Geesture 。
▲借助 Audio2Geesture 可自聲音檔產生自然的人物動作
此次也開放 Omniverse Enterprise 客戶使用 Omniverse DeepSearch AI 3D 搜尋技術,此項技術借助 AI 辨識自然語言,可在無標記的 3D 視覺素材資料庫中找尋符合條件的 3D 物件,並幫助客戶自大量無標記素材中找尋可用資料,尤其對握有大量未標記的遊戲開發商與視覺特效工作室可帶來顛覆性的改變。
▲ Modulus 廣泛被應用在數位孿生領域
物理機器學習框架 NVIDIA Modulus 也上架 Omniverse 擴充項目,借助 Modulus 訓練的物理機器學習模型可實現近乎即時的執行效能,隨應用程式不同,最多可提升達 4,000 倍甚至十萬倍,同時具備出色的精確度, Moduls 同時也被廣泛的科學數位孿生模型採用,其中也包括 NVIDIA 的 Earth-2 計畫。
借助 USD Connector 串接打造元宇宙所需的關鍵應用程式
在此次更新當中, USD Connector 再度增加 11 個以 USD 為基礎的外掛,借助 USD Connector 連接更多領域的專業應用程式,使其不需進行繁瑣的重新轉譯即可進行協作,目前 Omniverse USD 生態系的 Connector 已經達到 112 個;此次提供的測試版 Connector 外掛則包括 PTC Creo 、 SlideFX Houdini ,另外包括 Blender Autodesk Alias 、 Autodesk Civil 3D 、 Siemens JT 、 SimScale 、 Open Geospatial Consortium 、 Unity 等皆已著手開發 Connector 。
▲ NeuralVDB 相較 OpenVDB 可在稀疏體積資料集的記憶體耗用縮減達 100 倍
另外針對原宇宙所使用的材料、物理與光線等核心模擬技術也獲得重大更新,此次宣布作為衡量 3D 材料是否符合物理定律的 MDL 進行開放原始碼;另外針對稀疏體積資料將提供 NeuralVDB 測試版,此項功能是 OpenVDB 的進化版本,借助 AI 與 GPU 最佳化大幅降低記憶體用量,在稀疏體積資料集能大幅縮減 100 倍記憶體耗用。