NVIDIA 在 SIGGRAPH 2019 展示基於 AI 的 AR 頭戴裝置,與會者體驗透過 AI 動作捕捉成阿波羅 11 登月主角

2019.07.30 09:15PM
Photo caption, Astronaut, Brand, Image, Meter, astronaut, Astronaut, Space, Photo caption, Photography, Animation

NVIDIA 在昨日於 SIGGRAPH 2019 公布推出支援即時光線追蹤與 AI 的 Turing 圖靈架構 RTX 產品一年後的結果,包括業界的接納情況,與專業行動工作站 RTX Studio 再添十款產品,今天則公布技術與應用,其一是 NVIDIA 展示透過 AI 的眼球追蹤 AR 頭戴顯示裝置 Foveated AR ,另一項則是讓與會者透過 AI 影像分析的動作捕捉技術,使其成為先前所公布以阿波羅 11 登月為主題的 Moonlighting 中的太空人。

Glasses, Goggles, Photo caption, Font, Image, glasses, Eyewear, Glasses, Chin, Head, Personal protective equipment, Nose, Goggles, Security, Photography, Vision care

▲原型 AR 顯示器可進行 AI 3D 瞳孔追蹤

, Angle, Computer Monitors, Field of view, Display resolution, Angle of view, Product design, Augmented reality, Prototype, Nvidia, angle, Product, Text, Diagram, Font, Design, Animation, Logo, Brand, Graphic design, Graphics

▲透過 Micro OLED 與反射方式,使眼睛不需直視液晶顯示器

NVIDIA 在 SIGGRAPH 展示的 Foveated AR 頭戴顯示器是利用微 AI 控制的 3D 眼球追蹤技術,且由於具備基於 AI 的 3D 偵測,能夠推估眼神凝聚的位置深度,更特別的是 Foveated 搭載兩組不同的顯示器,一組用於顯示視角範圍外的低解析度顯示器,還有一組是透過 micro OLED 顯示與稜鏡反射技術的高解析度顯示器,透過追蹤瞳孔並調整視距,將影像最清晰的區塊投射在眼睛的視野上,這項技術也活用分區演算,將 AR 內容區分為視角核心與周邊區塊,並降低周邊區塊的影像細緻度,藉此提升續航力並兼顧影像品質。

Communication, Presentation, Product design, Computer Software, Projector, Design, Product, Electronics, Gadget, gadget, Presentation, Technology, Design, Electronic device, Media, Gadget, Multimedia, Output device, Training, Animation

T-shirt, Uniform, Yellow, Screenshot, Shirt, Meter, Brand, muscle, Yellow, 3d modeling, Human, T-shirt, Animation, Footwear, Fictional character, Outerwear, Sportswear, Screenshot

另一項展示則是將先前所公布的阿波羅 11 登月 50 周年紀念展示 Moonlighting 與動作偵測結合,不需要專業的動作捕捉設備或是深度相機,只要利用簡單的網路攝影機捕捉 2D 人物的動作,並透過基於 AI 技術分析並繪製骨架,藉由結合 NVIDIA 2D 轉換 3D 的 Omniuniverse 技術,將捕捉到的人物影像變成立體數據,並套用在 Moonlighting 展示中的太空人,讓與會者體驗成為登月英雄的樂趣,而除了即時的動作追蹤外,也保有支援 RTX 光線追蹤的特效。