NVIDIA Research 展示一段讚揚爵士樂與發源地紐奧良的短片，借助 3D MoMa 技術迅速將 2D 物件照片重建為三角網格格式

國際電腦視覺與模式辨識會議 ( CVPR )將在 6 月底於美國紐奧良舉辦，紐澳良也同時是爵士樂的發源地， NVIDIA 預計在 CVRP 展示稱為 NVIDIA 3D MoMa 的真實物件快速轉換 3D 內容工具，也藉此利用 3D MoMa 創作一段讚揚爵士樂與紐奧良的短片。

NVIDIA Research 預計在台灣時間 6 月 23 日凌晨的 CVRP 大會公布 NVIDIA 3D MoMa 技術論文，同時 NVIDIA Research 也預計在 CVRP 公布高達 38 篇論文。

3D MoMa 是一種逆向渲染工具，旨在將靜態照片重新轉化為 3D 物件與場景， NVIDIA 3D MoMa 渲染結合新一代 AI 技術與 GPU 加速逆向渲染程序，得以快速產生 3D 物件，並透過既有工具進行匯入、編輯與擴展。

▲三角網格是業界通用格式，故逆向渲染技術最好能夠直接完成三角網格重建

NVIDIA 強調， 3D 物件的型態需要能夠搭配遊戲引擎、 3D 建模器、電影渲染器等工具，才能使藝術家與工程師容易使用，故其形式是 3D 工具通用語言、帶有紋理材質的 Triangle Mesh 三角網格。不過傳統將真實物件轉化為三角網格需要使用複雜的攝影量測技術，並以大量時間與人力進行拍攝與轉換。

雖然近日借助神經輻射場域的研究成果，雖然能夠快速產生 3D 物件或場景，但其格式並非是業界通用的三角網格。此次將在 CVRP 發表技術論文的的 3D MoMa 技術，則是借助單一 NVIDIA Tensor Core GPU ，可在一個小時內產生三角網格模式，同時能直接套用在創作者的 3D 繪圖引擎與建模工具。

流程重建由三個特徵構成，包括 3D 網格模型、材質與光線；網格是由大量三角形構成的 3D 形狀紙糊模型，使開發者能藉由網格調整物件，再透過 2D 紋理如肌膚表層附加於 3D 網格顯示物體的材質特性，最後由光線呈現物體質感，而 NVIDIA 3d MoMa 可偵測並判斷場景打光，以利創作者在後期調整物件的光線。

▲將每個物件拍攝約百張平面照片，再透過 3D MoMa 進行三角網格重建

在此次 NVIDIA Research 的示範當中，由團隊蒐集包括小號、長號、薩克斯風、爵士鼓與單簧管等五種爵士樂器不同角度各約 100 張照片，在利用 3D MoMa 將這些 2D 平面照片進行三角網格重建轉換，完成這些 3D 模型後，創作團隊即可將這些物件匯入 NVIDIA Omniverse 3D 模擬平台進行編輯。

▲更換材質後，在虛擬場景的光線照射會呈現不同的質感

這些由 3D MoMa 完成建模的 3D 物件由於是使用高度通用性的三角網格格式，在任何傳統繪圖引擎皆可進行形狀與材質的改變，例如此次的小號原本是塑膠材質，但可在繪圖引擎當中迅速與黃金、大理石、木材與軟木取代；完成外型與材質編輯的 3D 物件即可匯入各類虛擬場景，此次 NVIDIA 團隊將這些 3D 樂器物件放置在經典圖形測試渲染品質的 Cornell Box 進行光線對物件的展演，反應這些具備不同材質特質的樂器在光線下的變化。