NVIDIA AI 研究團隊再推 2D 轉 3D 應用 GANverse 3D ,把霹靂遊俠夥計的照片重造為 3D 模型

2021.04.16 09:00PM

NVIDIA 的 AI 研究團隊近年公布許多有趣的應用,除了已經陸續被應用在多款知名大作的 DLSS 影像增強技術,或把一般 60fps 短片強化為流暢的高速慢動作影片,像是可把隨手畫出的線條轉為藝術作品的 GauGAN ,或是分析遊戲影片在不利用任何遊戲引擎的前提把經典遊戲小精靈重新製作的 GameGAN ,此次在 GTC 大會, NVIDIA AI 研究團隊再度推出 2D 影像轉化為 3D 模型的 GANverse 3D ,同時將上個世紀末經典科幻影集霹靂遊俠當中的"夥計" KITT 以 GANverse 3D 進行重塑,並使這輛新夥計在 NVIDIA Omniverse 的世界奔馳。

照片中提到了File Edit Create Animation Window Rendering Testing OmniGraph Animation Help、CACHE: ON LIVE SYNC: OFF、Viewport,包含了屏幕截圖、摩托車、汽車設計、2008寶馬M、軟件

▲透過先把多角度的照片貼到 3D 網格模型上,再使 AI 模型嘗試以一張 2D 圖完成完整的 3D 網格模型

GANverse 3D 是一套透過對抗生成網路技術的 AI 應用,藉由學習將單張平面 2D 影像轉化為 3D 模型的方式,使建築師、創作者、遊戲開發者、設計師等能夠在沒有 3D 建模的專業知識,也能以手邊的照片與圖片產生簡單 3D 模型。而這次 NVIDIA 則選擇以汽車作為示範,不過藉由置換學習的影像內容, GANverse 3D 也能學習產生其他內容的 3D 模型,雖然現在產生的結果與原始的物件不見得相同,但畢竟這是一套能持續學習強化的 AI ,隨著時間與素材增加,效果也會越來越好。

以車輛為例, GANverse 3D 的模型的訓練方式是透過自不同角度拍攝車輛的照片,讓 AI 學習如何把這些影像貼到 3D 模型上,而後再使 AI 嘗試自一張 2D 汽車照片產生 3D 網格模型。

照片中包含了光、汽車、中型車、緊湊型車、摩托車

▲雖然與真正的伙計外觀不盡相同,不過也抓到些許神韻

此次也在取得霹靂遊俠 Knight Rider 官方授權下,以夥計 KITT 的 2D 影像產生全新的 3D 模型,而後藉由 NVIDIA Omniverse 、 NVIDIA PhysX 工具把預測的紋理貼圖轉換為高品質素材,產生繼相似卻又有所不同的新生伙計。

NVIDIA 發表自我調整判別器增強技術,使 AI 以較少影像數量訓練可產生越級成果

NVIDIA Research 探索 AI 與影像的未來, GauGAN 詮釋 AI 如何將影像分析反推為塗鴉成畫

NVIDIA 讓 AI 看過 5 萬局小精靈遊玩影片,然後從無到有重製一套完整的小精靈遊戲

1 則回應