文/VR陀螺

GTC 2024，又一次產(chǎn)業(yè)飛躍的奠基。

北京時(shí)間  2024 年 3 月 19 日，NVIDIA 舉辦 GTC（GPU Technology Conference）大會(huì)。NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛宣布了 NVIDIA 的下一代芯片架構(gòu) Blackwell 及相關(guān)產(chǎn)品，包括該公司最新的 AI 芯片 B200，以及基于生成式人工智能、Omniverse 帶來(lái)的一系列云服務(wù)與應(yīng)用案例等。

這一系列的活動(dòng)中，我們也看見(jiàn)了 XR 產(chǎn)業(yè)在 GPU 快速成長(zhǎng)的 AIGC 時(shí)代的諸多可能性。本文主要以 GPU 芯片、數(shù)字孿生技術(shù)、計(jì)算機(jī)視覺(jué)、三維地圖重建與定位等與 XR 領(lǐng)域強(qiáng)相關(guān)方面，作為切入觀(guān)察。

 2080 億個(gè)晶體管，地表最強(qiáng)AI芯片——B200 

“Blackwell 將成為我們歷史上最成功的產(chǎn)品發(fā)布。”黃仁勛在會(huì)上說(shuō)道。

NVIDIA 今天正式宣布 NVIDIA Blackwell 平臺(tái)已經(jīng)到來(lái)，為生成式 AI 計(jì)算時(shí)代提供動(dòng)力。該 GPU 平臺(tái)以數(shù)學(xué)家 David Harold Blackwell 的名字命名，繼承了該公司兩年前推出的 Hopper 架構(gòu)。

新 Blackwell 架構(gòu)的核心是兩個(gè)新 GPU：B100 和 B200，以及一個(gè)定制解決方案 Grace-Blackwell Superchip (GB200)。其中，B200 由兩個(gè)獨(dú)立的芯片組成，通過(guò) 10 TB/秒的芯片到芯片鏈路連接，GPU 擁有 2080 億個(gè)晶體管，遠(yuǎn)遠(yuǎn)高于 H100 GPU 的 800 億個(gè)晶體管。

B200 （圖源：NVIDIA）

B200 一經(jīng)發(fā)布，外界便賦予“地表最強(qiáng) AI 芯片”之稱(chēng)。Nvidia 表示，在處理大規(guī)模 AI 模型時(shí)，HGX B200 的推理性能比之前由 Nvidia Hopper 一代 GPU 驅(qū)動(dòng)的系統(tǒng)高出 15 倍。在引擎蓋下，每個(gè)芯片都與 4 個(gè) HBM3E 內(nèi)存堆棧配對(duì)，每個(gè) B200 GPU 具有 192GB HBM3E RAM。

據(jù)介紹，訓(xùn)練一個(gè) 1.8 萬(wàn)億參數(shù)的模型之前需要 8,000 個(gè) Hopper GPU 和 15 兆瓦的電力。如今，2,000 個(gè) Blackwell GPU 就可以做到這一點(diǎn)，而功耗僅為 4 兆瓦。在具有 1750 億個(gè)參數(shù)的 GPT-3 LLM 基準(zhǔn)測(cè)試中，GB200 的性能是 H100 的七倍，訓(xùn)練速度是 H100 的四倍。

為了確保訓(xùn)練最復(fù)雜的人工智能模型的快速連接，Nvidia 還推出了第五代 NVLink，它為每個(gè) GPU 提供突破性的 1.8TB/s 雙向吞吐量，可實(shí)現(xiàn)多達(dá) 576 個(gè) GPU 的無(wú)縫高速通信。

GB200，兩個(gè) GPU、一個(gè) CPU、一塊主板（圖源：NVIDIA）

將兩個(gè) GPU 與單個(gè) Grace CPU 結(jié)合在一起的 GB200 可以為 LLM 推理工作負(fù)載提供 30 倍的性能，同時(shí)還可能大幅提高效率。

對(duì)于需要超級(jí)計(jì)算機(jī)級(jí)計(jì)算的更大型的應(yīng)用，Nvidia 推出了新的 Nvidia GB200 NVL72，據(jù)稱(chēng)它可以勝任訓(xùn)練萬(wàn)億參數(shù)模型的任務(wù)。

GB200 NVL72 是一款定制機(jī)架解決方案，采用多節(jié)點(diǎn)液冷 Nvidia GPU 服務(wù)器。它提供 72 個(gè) Blackwell GPU 和 36 個(gè) Grace CPU 起的配置，并作為單個(gè)系統(tǒng)提供 1.4 exaflops 的 AI 性能和 30TB 的快速內(nèi)存。

為了獲得最高的 AI 性能，GB200 驅(qū)動(dòng)的系統(tǒng)可以與 NVIDIA Quantum-X800 InfiniBand 和 Spectrum™-X800 以太網(wǎng)平臺(tái)連接， 這些平臺(tái)可提供速度高達(dá) 800Gb/s 的高級(jí)網(wǎng)絡(luò)。

值得注意的是，英偉達(dá)表示應(yīng)用程序?qū)⒛軌蛞恢碌卦L(fǎng)問(wèn)統(tǒng)一的內(nèi)存空間。這簡(jiǎn)化了編程并支持萬(wàn)億參數(shù) LLM、多模式任務(wù)的變壓器模型、大規(guī)模模擬的模型以及 3D 數(shù)據(jù)的生成模型的更大內(nèi)存需求。

GB200 NVL72（圖源：NVIDIA）

GB200 NVL72 實(shí)際上與 Nvidia 過(guò)去的 DGX 系統(tǒng)中使用的技術(shù)相同，使 8 個(gè) GPU 表現(xiàn)得像一個(gè) GPU。不同之處在于，使用專(zhuān)用的 NVLink 設(shè)備，Nvidia 能夠支持更多的 GPU。

強(qiáng)大的 GPU 不僅能為 AI 訓(xùn)練提供強(qiáng)有力的底層支持，對(duì)于高質(zhì)量圖形圖像要求的 XR 硬件而言，更是猶如一把利刃，可以直接或間接推動(dòng)相關(guān)內(nèi)容產(chǎn)業(yè)以及硬件的發(fā)展（長(zhǎng)線(xiàn)視角）。

全新的 GPU 系列外，英偉達(dá)的工業(yè)元宇宙平臺(tái) NVIDIA Omniverse 在今年也迎來(lái)了新的升級(jí)。

 Apple Vision Pro用Omniverse“拓展”未來(lái)渲染 

以 Cloud API，打造更開(kāi)放的 Omniverse 平臺(tái)。

NVIDIA 于今日宣布將以 API 形式提供 Omniverse™ Cloud。借助五個(gè)全新 Omniverse Cloud 應(yīng)用編程接口（API），開(kāi)發(fā)者能夠輕松地將 Omniverse 的核心技術(shù)直接集成到現(xiàn)有的數(shù)字孿生設(shè)計(jì)與自動(dòng)化軟件應(yīng)用中，或是集成到用于測(cè)試和驗(yàn)證機(jī)器人或自動(dòng)駕駛汽車(chē)等自主機(jī)器的仿真工作流中。

五個(gè)全新 Omniverse Cloud API 既可單獨(dú)使用，也可組合使用。它們分別是：

USD Render：生成 OpenUSD 數(shù)據(jù)的全光線(xiàn)追蹤 RTX™渲染USD Write：讓用戶(hù)能夠修改 OpenUSD 數(shù)據(jù)并與之交互USD Query：支持場(chǎng)景查詢(xún)和交互式場(chǎng)景USD Notify：追蹤 USD 變化并提供更新信息Omniverse Channel：連接用戶(hù)、工具和世界，實(shí)現(xiàn)跨場(chǎng)景協(xié)作

基于 Omniverse Cloud API 或應(yīng)用程序編程接口構(gòu)建的新軟件框架，使開(kāi)發(fā)人員可以輕松地將其通用場(chǎng)景描述 (OpenUSD)工業(yè)場(chǎng)景從內(nèi)容創(chuàng)建應(yīng)用程序發(fā)送到 NVIDIA 圖形交付網(wǎng)絡(luò) (GDN)，全球圖形就緒數(shù)據(jù)中心網(wǎng)絡(luò)，可以將 3D 體驗(yàn)傳輸?shù)竭h(yuǎn)程硬件設(shè)備中。

大會(huì)上的演示中，Nvidia 展示了一個(gè)完全交互式的汽車(chē)模型，該模型被傳輸?shù)?Apple Vision Pro 頭顯中。蘋(píng)果 Vision 產(chǎn)品集團(tuán)副總裁 Mike Rockwell 表示：“Apple Vision Pro 突破性的超高分辨率顯示器與 NVIDIA 加速計(jì)算流式傳輸?shù)?OpenUSD 內(nèi)容的真實(shí)感渲染相結(jié)合，為推進(jìn)沉浸式體驗(yàn)帶來(lái)了絕佳的機(jī)會(huì)。”

該工作流程還引入了混合渲染，這是一種在設(shè)備上結(jié)合本地和遠(yuǎn)程渲染的突破性技術(shù)。用戶(hù)可以使用來(lái)自 GDN 的 Omniverse RTX 渲染器流，通過(guò) Apple 的本機(jī) SwiftUI 和 Reality Kit 在單個(gè)應(yīng)用程序中渲染完全交互的體驗(yàn)。

據(jù)介紹，這種基于 Omniverse 的全新工作流程將 Apple Vision Pro 突破性的高分辨率顯示器與 NVIDIA 強(qiáng)大的 RTX 云渲染相結(jié)合，只需設(shè)備和互聯(lián)網(wǎng)連接即可提供空間計(jì)算體驗(yàn)。

基于云的方法允許實(shí)時(shí)基于物理的渲染無(wú)縫傳輸?shù)?Apple Vision Pro，提供高保真視覺(jué)效果，而不會(huì)影響大量工程保真度數(shù)據(jù)集的細(xì)節(jié)。

從長(zhǎng)遠(yuǎn)發(fā)展角度來(lái)看，云服務(wù)的確是降低產(chǎn)品側(cè)功耗，提升用戶(hù)多樣化體驗(yàn)的必經(jīng)之路，不過(guò)，大量數(shù)據(jù)的傳輸，同樣需要較高的帶寬網(wǎng)絡(luò)服務(wù)。當(dāng)然，強(qiáng)大的云端服務(wù)渲染與硬件的結(jié)合，也是理想化的數(shù)字孿生世界中的基建。

 Earth-2 氣候數(shù)字孿生云平臺(tái)，速度與精度的新結(jié)合

在 AI 的助推下，數(shù)字孿生正在悄然發(fā)生變化。

為加速應(yīng)對(duì)氣候變化導(dǎo)致的極端天氣所造成的經(jīng)濟(jì)損失，NVIDIA 于還發(fā)布了 Earth-2 氣候數(shù)字孿生云平臺(tái)，使天氣和氣候的模擬和可視化達(dá)到前所未有的精度。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“如今氣候?yàn)?zāi)害很常見(jiàn)，新聞中時(shí)常會(huì)看到歷史性的干旱、災(zāi)難性的颶風(fēng)和百年不遇的洪水。Earth-2 云 API 將幫助我們更好地應(yīng)對(duì)極端天氣，使我們可以采取行動(dòng)以緩解極端天氣的影響。”

作為同于今日發(fā)布的 NVIDIA CUDA-X™ 微服務(wù)的一部分，NVIDIA DGX Cloud™ 上的全新 Earth-2 云 API 能夠支持所有用戶(hù)創(chuàng)建基于 AI 的仿真，從而加快實(shí)現(xiàn)交互式、高分辨率模擬的速度，模擬范圍從全球大氣和局部云層到臺(tái)風(fēng)和湍流。

當(dāng)前氣候技術(shù)行業(yè)的規(guī)模已達(dá) 200 億美元，Earth-2 應(yīng)用編程接口通過(guò)結(jié)合該行業(yè)的公司所擁有的專(zhuān)有數(shù)據(jù)，可幫助用戶(hù)在數(shù)秒內(nèi)發(fā)布預(yù)警和最新預(yù)報(bào)。而使用傳統(tǒng)模型在 CPU 上運(yùn)行，這一過(guò)程需要耗時(shí)數(shù)分鐘乃至數(shù)小時(shí)。

Earth-2 API 提供各種 AI 模型，并且新添加一種名為 CorrDiff 的全新 NVIDIA 生成式 AI 模型。該模型基于領(lǐng)先的擴(kuò)散模型技術(shù)，能將當(dāng)前數(shù)值模擬的分辨率提升 12.5 倍，相比傳統(tǒng)方法，速度和能效分別提升了 1000 倍和 3000 倍。它不僅可以糾正粗分辨率預(yù)報(bào)中的錯(cuò)誤，還能夠生成對(duì)決策至關(guān)重要的指標(biāo)。CorrDiff 是一個(gè)開(kāi)創(chuàng)性的生成式 AI 模型，能夠?qū)崿F(xiàn)超分辨率，生成利益相關(guān)方感興趣的新指標(biāo)，并且可以從高分辨率數(shù)據(jù)集中學(xué)習(xí)小范圍局部天氣的物理特性。

Earth-2 云 API 的另一個(gè)關(guān)鍵組成部分是 NVIDIA Omniverse™，該計(jì)算平臺(tái)可幫助個(gè)人和團(tuán)隊(duì)開(kāi)發(fā)基于通用場(chǎng)景描述（OpenUSD）的 3D 工作流與應(yīng)用。

Earth-2 API 使用 DGX Cloud 為氣候和天氣解決方案提供全棧加速，其中包括 FourCastNet、GraphCast 和 Deep Learning Weather Prediction 等模型的最佳 AI 實(shí)現(xiàn)、在最新 Grace Hopper 系統(tǒng)上對(duì) ICON 等數(shù)值天氣預(yù)報(bào)模型的 GPU 加速等。在 NVIDIA DGX GH200、HGX H100 和 OVX 超級(jí)計(jì)算機(jī)上運(yùn)行的 Earth-2 在進(jìn)行全球氣候模擬和可視化上實(shí)現(xiàn)了前所未有的速度與精度。

 Isaac Perceptor軟件開(kāi)發(fā)工具包，內(nèi)含XR猛料？

作為本次 GTC 活動(dòng)的彩蛋之一，演講接近尾聲之時(shí)，黃仁勛展示了來(lái)自迪士尼研究院的一對(duì)由 NVIDIA 驅(qū)動(dòng)的小型機(jī)器人。

GPU——AIGC——機(jī)器人，三者無(wú)疑是生成式人工智能時(shí)代最完美的結(jié)合體。為了幫助機(jī)器人更好地感知所處環(huán)境，黃仁勛還發(fā)布了 Isaac Perceptor 軟件開(kāi)發(fā)工具包，該工具包具有最先進(jìn)的多攝像頭視覺(jué)里程計(jì)、3D 重建和占用地圖，以及深度感知功能。

為了使機(jī)械臂更具適應(yīng)性，NVIDIA 宣布推出 Isaac Manipulator —— 一個(gè)先進(jìn)的機(jī)械臂感知、路徑規(guī)劃和運(yùn)動(dòng)學(xué)控制庫(kù)。

最后，黃仁勛宣布了 Project GR00T，這是一個(gè)為人形機(jī)器人設(shè)計(jì)的通用基礎(chǔ)模型，旨在進(jìn)一步推動(dòng) NVIDIA 在機(jī)器人技術(shù)和具身智能方面的突破性工作。

為了支持這一努力，黃仁勛推出了一款用于人形機(jī)器人的新型計(jì)算機(jī) Jetson Thor，它基于 NVIDIA Thor 系統(tǒng)級(jí)芯片，并對(duì) NVIDIA Isaac 機(jī)器人平臺(tái)進(jìn)行了重大升級(jí)。

黃仁勛表示：“計(jì)算機(jī)圖形學(xué)、物理學(xué)和 AI 是 NVIDIA 的靈魂所在，生成式 AI 時(shí)代一切改變都有可能發(fā)生。”

事實(shí)上，除了機(jī)器人應(yīng)用之外，從 Isaac Perceptor 軟件開(kāi)發(fā)工具包包含的技術(shù)，特別是多攝像頭視覺(jué)里程計(jì)、3D 重建和占用地圖，以及深度感知功能，與 XR 有著千絲萬(wàn)縷的聯(lián)系。

通常情況下，一個(gè)支持 6DoF 的 VR/MR 頭顯不僅需要內(nèi)置 IMU、還需要相應(yīng)的外部追蹤系統(tǒng)與 SLAM 算法、去識(shí)別和標(biāo)記周?chē)�環(huán)境，以及自己的位置，以此重建三維視圖。而目前 XR 設(shè)備中最常用的就是基于攝像頭的計(jì)算機(jī)視覺(jué)技術(shù)，包括 Quest 3、Vision Pro 等。

這一基礎(chǔ)原理與 AI 機(jī)器人在三維視覺(jué)地圖重建上，其實(shí)有著異曲同工之處。對(duì)于 NVIDIA 而言，拓展 XR 算法與渲染也許并不難。就目前來(lái)看，僅是時(shí)間節(jié)點(diǎn)與關(guān)注度問(wèn)題。

 寫(xiě)在最后 

從底層 GPU 硬件，到以 Omniverse 為主的數(shù)字孿生技術(shù)生態(tài)，Isaac Perceptor 軟件開(kāi)發(fā)工具包，NVIDIA 正在無(wú)形之中參與空間計(jì)算的革命浪潮。

至于 XR 如何才能真正乘上 AIGC 風(fēng)口，迎來(lái)空間計(jì)算時(shí)代的小爆發(fā)，且讓子彈再飛一會(huì)兒。

參考資料：https://nvidianews.nvidia.com/news/

       原文標(biāo)題 : 最強(qiáng)AI核彈！英偉達(dá)將成空間計(jì)算時(shí)代最大推動(dòng)力