NVIDIA GTC2024 | 你必須知道的:AI、機(jī)器人、自動(dòng)駕駛
導(dǎo)讀:
北京時(shí)間3 月 19 日凌晨,NVIDIA 英偉達(dá)一年一度的科技“春晚”如期而至,NVIDIA 英偉達(dá)在 2024 GTC 上隆重發(fā)布 Project GR00T 人形機(jī)器人基礎(chǔ)模型和 Omniverse Cloud API,同時(shí)宣布全球眾多知名汽車品牌已使用 NVIDIA DRIVE Thor 集中式車載計(jì)算平臺(tái),用于為各自下一代車型的自動(dòng)駕駛功能提供助力。
眾所周知,科技圈最火的技術(shù)和產(chǎn)品,都繞不開(kāi) NVIDIA 英偉達(dá)。
01
Project GR00T 人形機(jī)器人基礎(chǔ)模型
NVIDIA 于今日發(fā)布人形機(jī)器人通用基礎(chǔ)模型 Project GR00T,旨在進(jìn)一步推動(dòng)其在機(jī)器人和具身智能方面的突破。Project GR00T 是一種多模態(tài)人形機(jī)器人通用基礎(chǔ)模型,作為機(jī)器人的大腦,讓機(jī)器人學(xué)習(xí)技能從而執(zhí)行各種指令。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“開(kāi)發(fā)通用人形機(jī)器人基礎(chǔ)模型是當(dāng)今 AI 領(lǐng)域中最令人興奮的課題之一。世界各地的機(jī)器人技術(shù)領(lǐng)導(dǎo)者正在匯集各種賦能技術(shù),致力于在人工通用機(jī)器人領(lǐng)域?qū)崿F(xiàn)突破。”
此外,NVIDIA 還發(fā)布了一款基于 NVIDIA Thor 系統(tǒng)級(jí)芯片的新型人形機(jī)器人計(jì)算機(jī) Jetson Thor,并對(duì) NVIDIA Isaac 機(jī)器人平臺(tái)進(jìn)行了重大升級(jí),包括生成式 AI 基礎(chǔ)模型和仿真工具,以及 AI 工作流基礎(chǔ)設(shè)施。
GR00T 驅(qū)動(dòng)的機(jī)器人將能夠理解自然語(yǔ)言,并通過(guò)觀察人類行為來(lái)模仿動(dòng)作——快速學(xué)習(xí)協(xié)調(diào)、靈活性和其他技能,以便適應(yīng)現(xiàn)實(shí)世界并與之互動(dòng)。黃仁勛還在現(xiàn)場(chǎng)展示了數(shù)臺(tái)人形機(jī)器人,并與它們進(jìn)行了互動(dòng)。
1、專為人形機(jī)器人而生
Jetson Thor 是一個(gè)全新的計(jì)算平臺(tái),能夠執(zhí)行復(fù)雜的任務(wù)并安全、自然地與人和機(jī)器交互,具有針對(duì)性能、功耗和尺寸優(yōu)化的模塊化架構(gòu)。
該平臺(tái)帶有 transformer engine 的下一代 GPU,采用 NVIDIA Blackwell 架構(gòu),可提供每秒 800 萬(wàn)億次8位浮點(diǎn)運(yùn)算 AI 性能,以運(yùn)行 GR00T 等多模態(tài)生成式 AI 模型。憑借集成的功能安全處理器、高性能 CPU 集群和 100GB 以太網(wǎng)帶寬,大大簡(jiǎn)化了設(shè)計(jì)和集成工作。
2、 Isaac 平臺(tái)的重大更新
GR00T 使用的 Isaac 工具可以為任何環(huán)境中的機(jī)器人創(chuàng)建新的基礎(chǔ)模型。這些工具包括用于強(qiáng)化學(xué)習(xí)的 Isaac Lab 和用于計(jì)算編排服務(wù)的 OSMO。
訓(xùn)練具身智能模型需要海量的真實(shí)數(shù)據(jù)和合成數(shù)據(jù)。新的 Isaac Lab 是一個(gè) GPU 加速、性能優(yōu)化的輕量級(jí)應(yīng)用,基于 Isaac Sim 構(gòu)建,專門用于運(yùn)行數(shù)千個(gè)用于機(jī)器人學(xué)習(xí)的并行仿真。
為了擴(kuò)展異構(gòu)計(jì)算的機(jī)器人開(kāi)發(fā)工作負(fù)載,OSMO 在分布式環(huán)境中協(xié)調(diào)數(shù)據(jù)生成、模型訓(xùn)練和軟硬件在環(huán)工作流。
NVIDIA 還發(fā)布了 Isaac Manipulator 和 Isaac Perceptor 等一系列機(jī)器人預(yù)訓(xùn)練模型、庫(kù)和參考硬件。
Isaac Manipulator 為機(jī)械臂提供了卓越的靈活性和模塊化 AI 功能,并提供了一系列強(qiáng)大的基礎(chǔ)模型和 GPU 加速庫(kù)。它提供了高達(dá) 80 倍的路徑規(guī)劃加速,零樣本感知提高了效率和吞吐量,使開(kāi)發(fā)者能夠?qū)崿F(xiàn)更多新的機(jī)器人任務(wù)的自動(dòng)化。
Isaac Perceptor 提供了多攝像頭和 3D 環(huán)繞視覺(jué)功能,這些功能正越來(lái)越多地被制造業(yè)和物流業(yè)的自主移動(dòng)機(jī)器人所采用,以提高效率和更好地保護(hù)工人,同時(shí)降低錯(cuò)誤率和成本。
02
NVIDIA DRIVE 進(jìn)一步助力自動(dòng)駕駛
NVIDIA 今日還宣布 NVIDIA DRIVE Thor 集中式車載計(jì)算平臺(tái),已經(jīng)被比亞迪、昊鉑、小鵬、Plus、Nuro、Waabi 和文遠(yuǎn)知行等品牌采用。
作為 DRIVE Orin 的后續(xù)產(chǎn)品,性能高達(dá) 1000 TFLOPS 的 DRIVE Thor 是專為汽車行業(yè)的生成式 AI 應(yīng)用而打造的車載計(jì)算平臺(tái)。DRIVE Thor 不僅可以提供豐富的座艙功能、安全可靠的高度自動(dòng)化駕駛和無(wú)人駕駛功能,還能將所有功能整合至同一個(gè)集中式平臺(tái)上。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示,這款新一代自動(dòng)駕駛汽車處理器將搭載專為 Transformer、大語(yǔ)言模型和生成式AI工作負(fù)載而打造的全新 NVIDIA Blackwell 架構(gòu)。
NVIDIA 汽車事業(yè)部副總裁吳新宙表示:“加速計(jì)算為生成式AI等領(lǐng)域帶來(lái)了變革性突破,而生成式 AI 則正在重新定義自動(dòng)駕駛和全球交通運(yùn)輸業(yè)。DRIVE Orin 仍然是當(dāng)今智能車型首選的 AI 車載計(jì)算平臺(tái),同時(shí),我們看到移動(dòng)出行領(lǐng)域的領(lǐng)先企業(yè)富有遠(yuǎn)見(jiàn)地將 NVIDIA DRIVE Thor 納入其下一代AI汽車產(chǎn)品路線圖中。”
1、加速計(jì)算打造下一代AI車型
NVIDIA DRIVE Thor 被 NVIDIA 稱為“將徹底改變汽車行業(yè)的格局,開(kāi)創(chuàng)生成式 AI 定義駕駛體驗(yàn)的時(shí)代”的產(chǎn)品。多家頭部電動(dòng)汽車制造商在 GTC 上公布了其搭載DRIVE Thor 的下一代 AI 車型。
比亞迪與 NVIDIA 的長(zhǎng)期協(xié)作正從車端延伸到云端。除了在 DRIVE Thor上構(gòu)建下一代車型外,比亞迪還計(jì)劃將 NVIDIA 的 AI 基礎(chǔ)設(shè)施用于云端 AI 開(kāi)發(fā)和訓(xùn)練技術(shù),并使用 NVIDIA Isaac 與 NVIDIA Omniverse 來(lái)開(kāi)發(fā)用于虛擬工廠規(guī)劃和零售配置器的工具與應(yīng)用。
廣汽埃安宣布旗下品牌昊鉑下一代電動(dòng)汽車將采用 DRIVE Thor 平臺(tái),新車型將于 2025 年開(kāi)始量產(chǎn),可實(shí)現(xiàn)L4級(jí)自動(dòng)駕駛。昊鉑目前的旗艦車型昊鉑GT搭載了 NVIDIA DRIVE Orin,該車型具備 L2+ 級(jí)高速自動(dòng)駕駛能力。
小鵬宣布將把 NVIDIA DRIVE Thor 平臺(tái)作為其下一代電動(dòng)汽車的“ AI 大腦”,助力其智能輔助駕駛系統(tǒng),實(shí)現(xiàn)自動(dòng)駕駛和泊車、駕乘人員監(jiān)控等功能。
此前,理想汽車和極氪均已表示將在 DRIVE Thor 上構(gòu)建未來(lái)車型。
2、賦能全景智能交通運(yùn)輸需求
除乘用車外,DRIVE Thor 還能夠滿足卡車、自動(dòng)駕駛出租車、配送車等其他細(xì)分領(lǐng)域的不同需求。
Nuro 致力于開(kāi)發(fā)用于商用車和乘用車的L4級(jí)自動(dòng)駕駛技術(shù)。該公司選擇 DRIVE Thor 為 Nuro Driver 提供助力,Nuro Driver 是一個(gè)集成式自動(dòng)駕駛系統(tǒng),由 Nuro自研的 AI-First 軟件和傳感器以及 NVIDIA 車規(guī)級(jí)計(jì)算和網(wǎng)絡(luò)硬件組成。該系統(tǒng)將于今年晚些時(shí)候開(kāi)始測(cè)試。
全球自動(dòng)駕駛軟件解決方案提供商Plus宣布,其L4級(jí)解決方案SuperDrive的下一代產(chǎn)品將在符合安全標(biāo)準(zhǔn)的DRIVE Thor車規(guī)級(jí)集中式計(jì)算平臺(tái)上運(yùn)行。Plus的自動(dòng)駕駛系統(tǒng)將充分利用DRIVE Thor 的計(jì)算性能,以了解卡車周圍的環(huán)境并做出安全的駕駛決策。
正在打造自動(dòng)駕駛AI的Waabi將利用DRIVE Thor推出其首個(gè)采用生成式AI技術(shù)的自動(dòng)駕駛卡車解決方案。該公司計(jì)劃將 DRIVE Thor 集成到其 Waabi Driver 中,大規(guī)模地提升自動(dòng)駕駛卡車的安全與可靠性。
文遠(yuǎn)知行正在與聯(lián)想車計(jì)算一同基于 DRIVE Thor 來(lái)創(chuàng)建多個(gè)商用L4級(jí)自動(dòng)駕駛解決方案。該解決方案集成在聯(lián)想首款自動(dòng)駕駛域控制器 AD1 中,將被用于各種以城市為中心的用例,具備功能安全、冗余安全設(shè)計(jì)、融合可擴(kuò)展等技術(shù)特點(diǎn)。
03
全新Omniverse Cloud API發(fā)布
2019年,NVIDIA Omniverse 上線,2022年,Omniverse Cloud 發(fā)布,如今,Omniverse 已被全球各大行業(yè)廣泛應(yīng)用,任何人在任何地點(diǎn)都可以使用 Omniverse Cloud 這一綜合、全面的云服務(wù)來(lái)設(shè)計(jì)、發(fā)布、運(yùn)行和體驗(yàn)元宇宙相關(guān)應(yīng)用。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“所有制造出來(lái)的產(chǎn)品都將擁有數(shù)字孿生。 Omniverse 是一個(gè)可以構(gòu)建并操作物理真實(shí)的數(shù)字孿生的操作系統(tǒng)。Omniverse 和生成式 AI 都是將價(jià)值高達(dá)50萬(wàn)億美元的重工業(yè)市場(chǎng)進(jìn)行數(shù)字化所需的基礎(chǔ)技術(shù)。”
2024 GTC,五款全新 Omniverse Cloud API 發(fā)布,既可以單獨(dú)使用,也可以組合使用:
l USD Render:生成 OpenUSD 數(shù)據(jù)的全光線追蹤 RTX 渲染;
l USD Write:用戶可以修改 OpenUSD 數(shù)據(jù)并與之交互;
l USD Query:支持場(chǎng)景查詢和交互式場(chǎng)景;
l USD Notify:追蹤 USD 變化并提供更新信息;
l Omniverse Channel:連接用戶、工具和世界,實(shí)現(xiàn)跨場(chǎng)景協(xié)作;
借助 Omniverse Cloud API,開(kāi)發(fā)者們可以輕松地將 Omniverse 的核心技術(shù)直接集成到現(xiàn)有的數(shù)字孿生設(shè)計(jì)與自動(dòng)化軟件應(yīng)用中,以及用于測(cè)試和驗(yàn)證機(jī)器人或自動(dòng)駕駛汽車等自主機(jī)器的仿真工作流中。
截至目前, Ansys、Cadence、達(dá)索系統(tǒng)旗下 3DEXCITE、Hexagon、微軟、羅克韋爾自動(dòng)化、西門子和 Trimble 等全球大型工業(yè)軟件制造商都在將 Omniverse Cloud API 加入到其軟件組合中。
1、互式可視化和協(xié)作走近工業(yè)應(yīng)用
早在2022年,NVIDIA 便宣布進(jìn)一步拓展和西門子的合作伙伴關(guān)系,將西門子的Xcelerator和 NVIDIA 的 Omniverse 平臺(tái)連接起來(lái),共同打造工業(yè)元宇宙。西門子是工業(yè)自動(dòng)化軟件基礎(chǔ)設(shè)施、建筑技術(shù)和交通領(lǐng)域的領(lǐng)先者,結(jié)合 NVIDIA 在加速圖形和人工智能領(lǐng)域的成果,將為用戶帶來(lái)生產(chǎn)和產(chǎn)品全生命周期的效率、生產(chǎn)力以及流程等優(yōu)化提升。
如今,西門子正在其 Xcelerator 平臺(tái)中使用 Omniverse Cloud API,最先接入的是云端產(chǎn)品生命周期管理軟件 Teamcenter X。
黃仁勛今日在GTC主題演講中展示了 Teamcenter X 與 Omniverse API 的連接,它不僅可以打通設(shè)計(jì)數(shù)據(jù)到 NVIDIA 生成式 AI API 之間的通路,還允許在該應(yīng)用內(nèi)直接使用 Omniverse RTX 渲染。
西門子總裁兼首席執(zhí)行官 Roland Busch 表示:“通過(guò) NVIDIA Omniverse API,西門子能夠利用生成式AI賦能客戶,使其符合物理學(xué)的數(shù)字孿生變得更具沉浸感。這將幫助所有人在實(shí)際建造前,對(duì)下一代產(chǎn)品、制造流程和工廠進(jìn)行虛擬設(shè)計(jì)、建造和測(cè)試。通過(guò)將現(xiàn)實(shí)世界與數(shù)字世界相結(jié)合,西門子數(shù)字孿生技術(shù)正在幫助全球企業(yè)提高競(jìng)爭(zhēng)力、彈性和可持續(xù)發(fā)展能力。”
2、加速自主機(jī)器開(kāi)發(fā)
隨著全球?qū)C(jī)器人、自動(dòng)駕駛汽車和 AI 監(jiān)控系統(tǒng)需求的增加,傳感器數(shù)據(jù)對(duì)于訓(xùn)練、測(cè)試和驗(yàn)證從感知到規(guī)劃和控制的全棧自主性便顯得至關(guān)重要。
Omniverse Cloud API 恰恰能夠連接豐富的模擬工具、開(kāi)發(fā)者生態(tài)系統(tǒng)和業(yè)界領(lǐng)先的傳感器解決方案提供商,通過(guò)高保真以及符合物理學(xué)的傳感器仿真實(shí)現(xiàn)全棧訓(xùn)練和測(cè)試工作。
據(jù)悉,今年晚些時(shí)候,Microsoft Azure 也將上線 Omniverse Cloud API 服務(wù)。
微軟 Emerging Technologies 公司副總裁 Andy Pratt 表示:“下一個(gè)工業(yè)數(shù)字化時(shí)代已經(jīng)到來(lái)。通過(guò) Microsoft Azure 上的 NVIDIA Omniverse API,世界各地各行業(yè)的企業(yè)都可以連接、協(xié)作并改進(jìn)其現(xiàn)有工具,創(chuàng)造出下一批AI賦能的數(shù)字孿生工具。”
END
圖 | NVIDIA
原文標(biāo)題 : NVIDIA GTC2024 | 你必須知道的:AI、機(jī)器人、自動(dòng)駕駛
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
推薦專題
- 1 【一周車話】沒(méi)有方向盤(pán)和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無(wú)人駕駛車,還未迎來(lái)“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 大模型“新星”開(kāi)啟變現(xiàn)競(jìng)速
- 6 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 7 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 8 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 9 神經(jīng)網(wǎng)絡(luò),誰(shuí)是盈利最強(qiáng)企業(yè)?
- 10 比蘋(píng)果偉大100倍!真正改寫(xiě)人類歷史的智能產(chǎn)品降臨