NVIDIA 在今年第二場的秋季 NVIDIA GTC 宣布多項新技術，同時聚焦在當前被重新賦予" Metaverse "一詞的數位孿生( Digital Twin )領域，圍繞在 NVIDIA Omniverse 技術，公布多項全新的技術與應用，包括 NVIDIA Omniverse Avatar 、 NVIDIA Omniverse Replicator 兩項 Omniverse 延伸技術，此外也展示 NVIDIA 在網路連接、機器人、先進駕駛與自動駕駛等領域。
▲模擬地球氣候變遷的超大型數位孿生計畫： Earth Two
而作為此次壓軸重頭戲的，則是 NVIDIA 將建構以數位孿生進行模擬與預測氣候變化的 Earth Two ( E-2 )系統。
藉 cuQuantum 進行量子運算模擬
▲ NVIDIA 借助 cuQuantum 創下量子計算 MaxCut 的紀錄
在進入正式內容發表前，黃仁勳也提到近日火熱的量子運算，不過 NVIDIA 並非為量子運算設計處理器，而是使用 NVDIA 擅長的 GPU 加速運算進行模擬， 黃仁勳宣布借助 cuQuantum SDK 算法，在 NVIDIA 自有的 DGX SuperPOD 架構超算系統 Selene 創下 MacCut 量子運算模擬紀錄。
NVIDIA 借助 cuQuantum 的 cuTensorNet 函式庫在 Selene 進行量子運算模擬，使 GPU 模擬 1,688 個量子位，解決高達 3,375 個 Vertices ，是先前紀錄的 8 倍量子模擬量。同時 NVIDIA 也宣布 cuQuantum 的第一個函式庫 cuStateVec 已經提供公開測試，另外 cuTensorNet 將在 12 月推出。
提供高速連接與高度安全性的 NVIDIA Quantum-2 網路連平台
▲ NVIDIA Quantum-2 基於 400Gbps InfiniBand
▲發表新一代 BlueField SDK 、 NVIDIA DOCA 1.2
在收購 Mellanox 後， NVIDIA 將觸角延伸至網路連接技術，黃仁勳在秋季 GTC 公布基於 InfiniBand 的新一代 NVIDIA Quantum-2 ，基於 400Gbps InfiniBand 網路平台，由 NVIDIA Quantum-2 switch 網路交換器、 ConnectX-7 網路卡與 BlueField-3 DPU 構成，並搭配支援此新硬體架構的軟體，同時藉由支援新一代分散式防火牆的最新版 BlueField SDK - NVIDIA DOCA 1.2 提供高度安全性， NVIDIA Quantum-2 是作為新一代雲運算與超算中心提供高度安全與連接能力的端到端網路平台。
NVIDIA Omniverse Avatar 與 Omniverse Replicator
▲以黃仁勳本人形象結合 Project Tokkio 打造的「 Toy Jensen 」
NVIDIA Omniverse 是 NVIDIA 野心勃勃的 Digital Twin 戰略平台，透過模擬技術創造虛擬環境，能夠廣泛應用在會議協作、環境模擬等應用；此次 GTC 發表三項與 Omniverse 相關的技術，其一是針對虛擬化身應用的 NVIDIA Omniverse Avatar ，以及針對訓練深度神經的數據合成技術 Omniverse Replicator。 NVIDIA 為了展示 NVIDIA Omniverse Avatar 技術，還透過 AI 客服計畫 Project Tokkio 將黃仁勳做成即時對話 AI 機器人「 Toy Jensen 」。
NVIDIA Omniverse Avatar 是一項串接語音 AI 、機器視覺、自然語言理解、推薦引擎與模擬技術的虛擬化身功能，同時建構具備光線追蹤 3D 效果的互動虛擬化身； NVIDIA 在 GTC 展示 NVIDIA Omniverse Avatar 兩項應用計畫，分別是針對客服的 Project Tokkio ，以及應用在視訊會議的 Project Maxine 。
▲應用 Tokkio 作為速食店的點餐系統，同時區分兩位用戶不同的需求
NVIDIA 展示了兩項 Project Tokkio 的情境，其一是由黃仁勳本人的形象親自下海，化身 Toy Jensen 與多位使用者自大談生物學與氣候科學議題；第二項則是作為速食店的智慧客服系統，透過自然語意了解辨別兩位客戶的訂單；這些展示是由 NVIDIA AI software 結合Megatron 530B 可客製化自然語言模型作為基礎。
▲ Project Maxine 不僅提供即時翻譯，還結合語音合成與臉部動畫合成呈現多國語言的談吐畫面
▲ Project Maxine 可借助 AI 消除背景噪音
▲ DRIVE Concierge AI 結合 Project Maxine 提供可理解駕駛意圖的車載助理系統
而在 Project Maxine 的展示當中，透過將此套系統整合到 DRIVE Concierge AI 做為車載系統的數位助理，藉此幫助駕駛選擇最合適的駕駛模式以及低速警告。另外作為會議應用，結合 AI 背景降噪處理、即時翻譯與 AI 語音合成技術，將原本在咖啡廳使用英文的通話消除背景噪音，同時協助使用者把英文自動轉換為德文，再透過語音合成技術模仿原本的聲音與語調，以德文重新轉述給對方。
▲ Omniverse Replicator 可用於產生符合真實物理特質的訓練用合成數據
Omniverse Replicator 則是針對 Omniverse 虛擬環境進行訓練的合成數據產生引擎，當前率先應用在針對自動駕駛與先進輔助駕駛的 NVIDIA DRIVE Sim ，還有機器人的 Issac Sim 當中，為這兩項虛擬訓練應用產生更豐富的有效訓練內容。
▲ Omniverse Replicator 結合數據產生與標記功能
Omniverse Replicator 的目的是在 Omniverse 環境產生需要高度成本、且費時費力進行人工標註的數據資料，開發者藉由 Omniverse Replicator ，能夠產生各種真實世界難以重現的數據，例如速度、深度、被遮蔽的物件、特殊天氣條件等等。
基於模擬與虛擬的數位孿生 Omniverse
▲今年 GTC 出現的廚房也是 Omniverse 建構
NVIDIA Omniverse 平台早在近日業界瘋狂炒作 Meteverse 即開始展開計畫，始於協作應用並轉化到數位孿生( Digital Twin )，至今成為 NVIDIA 在 AI 以外另一項發展重點，如今 Omniverse 不僅能夠使創作者在不同內容應用程式之間進行協作，或是協助數位藝術家、影像藝術家與導演建構虛擬舞台，並作為 AI 機器人、自駕車在試產前的 AI 訓練與驗證舞台，如近幾次的 GTC 大會的廚房背景亦是藉購在 Omniverse 技術。
▲ BMW 的未來工廠模擬建立在 Omniverse 上
▲ Ericsson 在 Omniverse 建構一座虛擬城市模擬 5G 訊號
NVIDIA 在此次宣布多項 Omniverse 的應用，如 BMW 借助 Omniverse 在虛擬環境當中規劃未來工廠設計，從空間配置，生產流水線，人機協作的規劃等等，利用包括物理模擬並結合 AR 技術，能使人類置身在虛擬工廠空間感受規劃並找出問題，使工廠規劃更為完善； Ericsson 則在 Omniverse 建構一座城市作為 5G 技術的實驗場域，借助物理模擬技術檢測 5G 訊號在虛擬城市中的傳輸情況，能夠作為改善基地台配置、最佳化天線設計等應用。
AI 模型與系統
▲ Nemo Megatron 是針對語言模型訓練提出的技術
近年不斷強調軟、硬整合的 NVIDIA 當然也不會錯過在 GTC 介紹軟體相關技術，此次針對當前 AI 應用相當主流的語言應用推出 Nemo Megatron ，這是一項用於大型語言模型的技術，黃仁勳亦對 Nemo Megatron 寄予厚望，強調 Nemo Megatron 將會成為主流 HPC 領域最大型的應用程式。
引領下一代自駕技術的新世代 NVIDIA DRIVE 技術
▲ Hyperion 8 採用雙 Orin AGX 作為核心，搭配大量感測器
NVIDIA 在先進輔助駕駛與自動駕駛技術相當重要，縱使如自己設計自動駕駛晶片的 Tesla 仍仰賴 NVIDIA 技術的超級電腦系統進行自動駕駛 AI 訓練；此次除了先前提及的 DRIVE SIM 、車載助理的 NVIDIA Maxine 以外， NVIDIA 也介紹基於雙 NVIDIA Orin 晶片的 Hyperion 8 開放自動駕駛平台。
▲ 搭載 Hyperion 8 的賓士車在 NVIDIA 總部附近進行 Level 4 等級的無人駕駛
NVIDIA Orin 是 NVDIIA 新一代嵌入式超級電腦晶片，單一晶片具備高達 12 個 Cortex-A78 ，並具備 Amper Tensor Core 與 DLA AI 加速核心，具備達 200 INT8 TOPS 效能，一套 Hyperion 使用兩個 Orin 晶片為基礎，包括 12 具相機、 9 個雷達、 12 個超音波感測器與一個前置光達，結合高性能加速運算與感測器數據，加速實現無人化的自動駕駛技術。
1 則回應