NVIDIA 在昨日於 SIGGRAPH 2019 公布推出支援即時光線追蹤與 AI 的 Turing 圖靈架構 RTX 產品一年後的結果,包括業界的接納情況,與專業行動工作站 RTX Studio 再添十款產品,今天則公布技術與應用,其一是 NVIDIA 展示透過 AI 的眼球追蹤 AR 頭戴顯示裝置 Foveated AR ,另一項則是讓與會者透過 AI 影像分析的動作捕捉技術,使其成為先前所公布以阿波羅 11 登月為主題的 Moonlighting 中的太空人。
▲原型 AR 顯示器可進行 AI 3D 瞳孔追蹤
▲透過 Micro OLED 與反射方式,使眼睛不需直視液晶顯示器
NVIDIA 在 SIGGRAPH 展示的 Foveated AR 頭戴顯示器是利用微 AI 控制的 3D 眼球追蹤技術,且由於具備基於 AI 的 3D 偵測,能夠推估眼神凝聚的位置深度,更特別的是 Foveated 搭載兩組不同的顯示器,一組用於顯示視角範圍外的低解析度顯示器,還有一組是透過 micro OLED 顯示與稜鏡反射技術的高解析度顯示器,透過追蹤瞳孔並調整視距,將影像最清晰的區塊投射在眼睛的視野上,這項技術也活用分區演算,將 AR 內容區分為視角核心與周邊區塊,並降低周邊區塊的影像細緻度,藉此提升續航力並兼顧影像品質。
另一項展示則是將先前所公布的阿波羅 11 登月 50 周年紀念展示 Moonlighting 與動作偵測結合,不需要專業的動作捕捉設備或是深度相機,只要利用簡單的網路攝影機捕捉 2D 人物的動作,並透過基於 AI 技術分析並繪製骨架,藉由結合 NVIDIA 2D 轉換 3D 的 Omniuniverse 技術,將捕捉到的人物影像變成立體數據,並套用在 Moonlighting 展示中的太空人,讓與會者體驗成為登月英雄的樂趣,而除了即時的動作追蹤外,也保有支援 RTX 光線追蹤的特效。