訂閱
糾錯(cuò)
加入自媒體

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

       文丨光錐智能,作者丨周文斌

元宇宙已經(jīng)涼透了,NFT也快淹死了,但中國(guó)互聯(lián)網(wǎng)不知道,中國(guó)互聯(lián)網(wǎng)不在乎,因?yàn)楝F(xiàn)在它的眼里只有ChatGPT......

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

這是最近兩個(gè)月來(lái)中國(guó)互聯(lián)網(wǎng)的真實(shí)寫(xiě)照,大家都在為ChatGPT狂歡,周鴻祎更是語(yǔ)出驚人:“任何行業(yè)的APP、軟件、網(wǎng)站、應(yīng)用,如果加持上GPT的能力,都值得重塑一遍!

就像是發(fā)令槍扣動(dòng)了扳機(jī),在ChatGPT之后,人工智能直接開(kāi)啟了科技企業(yè)的狂熱競(jìng)賽。國(guó)外從微軟到谷歌;國(guó)內(nèi)從百度到騰訊、再?gòu)陌⒗锏阶止?jié),巨頭們紛紛下注,買(mǎi)定離手。

2月份,這把火終于燒到了自動(dòng)駕駛領(lǐng)域,2月17日,毫末宣布將自動(dòng)駕駛認(rèn)知大模型正式升級(jí)為DriveGPT,并將在4月份公布進(jìn)展。目前,毫末智行已完成DriveGPT的模型搭建和第一階段數(shù)據(jù)跑通,可以對(duì)標(biāo)GPT-2的水平。

而在2月23日的財(cái)報(bào)發(fā)布會(huì)上,百度也專(zhuān)門(mén)提到要將文心一言與Apollo自動(dòng)駕駛結(jié)合。按照部署,未來(lái)文心一言背后大模型技術(shù)在自動(dòng)駕駛上的應(yīng)用,將加深車(chē)輛對(duì)復(fù)雜城市路況的理解,進(jìn)一步提升自動(dòng)駕駛安全性和可靠性。

要知道,在ChatGPT之前,自動(dòng)駕駛一直是人工智能最具代表性的應(yīng)用,而ChatGPT作為人工智能領(lǐng)域的革命性突破,必然也將對(duì)自動(dòng)駕駛帶來(lái)影響。

關(guān)于這個(gè)問(wèn)題,光錐智能也曾詢問(wèn)ChatGPT。

ChatGPT“認(rèn)為”,自動(dòng)駕駛作為一種新興技術(shù),雖然可能面臨一些道德問(wèn)題,但仍然在安全性、經(jīng)濟(jì)性和可靠性方面對(duì)人類(lèi)生活產(chǎn)生深刻影響。而作為一種自然語(yǔ)言處理的人工智能模型,ChatGPT可以在智能交互、數(shù)據(jù)處理,路況分析、人機(jī)交互,以及在社會(huì)和倫理問(wèn)題的研究上提供支持。

那么具體而言,ChatGPT會(huì)給自動(dòng)駕駛的發(fā)展帶來(lái)哪些變革呢?同樣作為人工智能的應(yīng)用方向,它又和自動(dòng)駕駛有著怎樣的淵源?又會(huì)給自動(dòng)駕駛的發(fā)展路徑帶來(lái)哪些啟示?

一、ChatGPT和自動(dòng)駕駛的淵源

ChatGPT能直接應(yīng)用在自動(dòng)駕駛領(lǐng)域嗎?

談起這個(gè)問(wèn)題,了解自動(dòng)駕駛和ChatGPT的人第一反應(yīng)肯定都是“不行”。

原因很簡(jiǎn)單,ChatGTP本質(zhì)上是一種自然語(yǔ)言處理技術(shù),它主要處理文本數(shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)人類(lèi)語(yǔ)言的理解和生成。但自動(dòng)駕駛則更多涉及車(chē)載傳感器,如攝像頭帶來(lái)的圖像、以及激光雷達(dá)和毫米波雷達(dá)帶來(lái)的雷達(dá)數(shù)據(jù)。

所以雖然同樣屬于人工智能技術(shù),但兩者看起來(lái)并沒(méi)有太多直接的關(guān)系。當(dāng)然,這樣的區(qū)分只是局限在應(yīng)用場(chǎng)景的不同,如果回溯背后的技術(shù)原理,ChatGPT與目前自動(dòng)駕駛使用的主流技術(shù)其實(shí)有相當(dāng)多的共同特點(diǎn)。

毫末智行CEO顧維灝介紹,毫末推出的人駕自監(jiān)督認(rèn)知大模型就已借鑒了ChatGPT的實(shí)現(xiàn)思路,采用RLHF(人類(lèi)反饋強(qiáng)化學(xué)習(xí))技術(shù),通過(guò)引入真實(shí)人駕接管數(shù)據(jù),對(duì)自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化。

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

我們知道,ChatGPT是基于Transformer訓(xùn)練的NLP大模型。2017年,谷歌在NIPS發(fā)表論文《Attention is all you need》提出了Transformer網(wǎng)絡(luò)結(jié)構(gòu)。之后,由于其優(yōu)秀的長(zhǎng)序列處理能力,更高的并行計(jì)算效率,無(wú)序手動(dòng)設(shè)計(jì)特征,以及更強(qiáng)的語(yǔ)義表達(dá)能力,Transformer橫掃NLP領(lǐng)域并成為最主流的訓(xùn)練模型。

簡(jiǎn)單來(lái)說(shuō),Transformer極大程度上提高了超大規(guī)模數(shù)據(jù)訓(xùn)練的效率,所以在NLP領(lǐng)域取得成功之后,Transformer就延伸出了許多變種被應(yīng)用到更多場(chǎng)景,其中就包括自動(dòng)駕駛需要的圖像識(shí)別和目標(biāo)檢測(cè)。

比如ViT(Vision Transformer)模型,它是一種基于Transformer的視覺(jué)模型,可以在不使用CNN卷積神經(jīng)網(wǎng)絡(luò)的情況下進(jìn)行圖像分類(lèi);蛘逥ETR,一種基于 Transformer的目標(biāo)檢測(cè)模型,它可以同時(shí)進(jìn)行目標(biāo)檢測(cè)和分類(lèi)。

2021年6月,在頂級(jí)峰會(huì)CVPR 2021上,時(shí)任特斯拉AI高級(jí)總監(jiān)的Andrej Karpathy首次提出將Transformer運(yùn)用到自動(dòng)駕駛的大規(guī)模無(wú)監(jiān)督訓(xùn)練中。(今年2月初,Karpathy在Twitter上宣布再次加入OpenAI。)

如今,在關(guān)于Transformer在自動(dòng)駕駛方面的應(yīng)用上,特斯拉已經(jīng)有了許多具體場(chǎng)景,比如從BEV感知到占用網(wǎng)絡(luò)。

最早,特斯拉在車(chē)輛感知上使用的是Occupancy Tracker,即在每個(gè)相機(jī)上單獨(dú)進(jìn)行感知,再將不同相機(jī)感知到的結(jié)果進(jìn)行融合。

但這種方式存在許多問(wèn)題,比如不同攝像頭之間的信息融合困難,鬼探頭等遮擋區(qū)域的預(yù)測(cè)困難,以及一些巨大物體(當(dāng)一個(gè)物體跨過(guò)兩個(gè)攝像頭的范圍后)的預(yù)測(cè)困難等等。

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

面對(duì)這些問(wèn)題,特斯拉AI團(tuán)隊(duì)希望利用神經(jīng)網(wǎng)絡(luò)將圖像空間映射到BEV空間。

所以在2021年的AI DAY上,特斯拉提出了新的BEV感知方案,可以跨過(guò)傳統(tǒng)圖像縫合技術(shù),直接將所有攝像頭采集的圖像矯正后,一并輸入到神經(jīng)網(wǎng)絡(luò)提取特征。然后再基于Transformer將這些特征進(jìn)行關(guān)聯(lián)從而投影到一個(gè)BEV空間上,最終獲得一個(gè)反應(yīng)周?chē)h(huán)境的鳥(niǎo)瞰圖。

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

到2022年底的AI DAY,特斯拉又提出了occupancy network 占用網(wǎng)絡(luò),這是一種新的基于機(jī)器學(xué)習(xí)的三維重建方法,依靠它特斯拉可以把車(chē)輛行駛時(shí)遮擋靜止物體和動(dòng)態(tài)物體通過(guò)有顏色的小方塊表示出來(lái),以此來(lái)增加特斯拉的視野范圍,讓特斯拉可以對(duì)接下來(lái)的路徑規(guī)劃有更多信息。

這些其實(shí)都是ChatGPT同源技術(shù)在自動(dòng)駕駛方面的應(yīng)用,而具體到國(guó)內(nèi),在特斯拉首次提到將Transformer運(yùn)用到自動(dòng)駕駛2個(gè)月后,毫末就曾公開(kāi)表示正在利用Transformer進(jìn)行超大規(guī)模的感知訓(xùn)練,并且后期有可能將Transformer引入到規(guī)劃和控制中。

到2022年,小鵬在1024科技日中也提到使用大模型打通XNGP全場(chǎng)景能力的觀點(diǎn);百度Apollo也認(rèn)為文心大模型將是提升自動(dòng)駕駛能力的核心驅(qū)動(dòng)力。

總之,在嘗到Transformer的甜頭之后,自動(dòng)駕駛企業(yè)紛紛將其引入到自動(dòng)駕駛系統(tǒng)中,以此來(lái)實(shí)現(xiàn)系統(tǒng)感知智能與認(rèn)知智能的優(yōu)化。

再回到ChatGPT,我們知道ChatGPT基于GPT-3訓(xùn)練,但這個(gè)模型發(fā)布于2020年5月,雖然當(dāng)時(shí)在數(shù)據(jù)規(guī)模上做出了突破,但卻并沒(méi)有像ChatGPT一樣一鳴驚人。

關(guān)于這一點(diǎn),顧維灝認(rèn)為,實(shí)現(xiàn)GPT3到ChatGPT的龍門(mén)一躍,最重要的是ChatGPT模型使用了“利用人類(lèi)反饋強(qiáng)化學(xué)習(xí)RLHF”的訓(xùn)練方式,更好的利用了人類(lèi)知識(shí),讓模型自己能夠判斷其答案的質(zhì)量,逐步提升自己給出高質(zhì)量答案的能力。這個(gè)思路,與毫末在自動(dòng)駕駛認(rèn)知決策上的思路不謀而合。

如同GPT-1到GPT-2一樣,毫末在自動(dòng)駕駛認(rèn)知的訓(xùn)練最開(kāi)始也是從引入個(gè)別場(chǎng)景,讓模型進(jìn)行端到端的模仿學(xué)習(xí)開(kāi)始的,這個(gè)階段算法直接擬合人類(lèi)的駕駛行為。在這個(gè)基礎(chǔ)上,自動(dòng)駕駛的第二階段引入海量的正常人駕駛數(shù)據(jù),通過(guò)Prompt的方式實(shí)現(xiàn)認(rèn)知決策。

但這個(gè)過(guò)程也會(huì)遇到一個(gè)問(wèn)題,即自動(dòng)駕駛算法學(xué)習(xí)的是所有“正常人類(lèi)”的駕駛行為,這些數(shù)據(jù)中可能有高水平的,有低水平的,但機(jī)器無(wú)法分別,最終學(xué)習(xí)的結(jié)果就是達(dá)到一個(gè)綜合所有數(shù)據(jù)的平均水平。

為了解決這個(gè)問(wèn)題,今年1月,毫末智行在AI Day上發(fā)布了人駕自監(jiān)督大模型,這個(gè)大模型如OpenAI在GPT-3上做的RLHF一樣,引入真實(shí)人類(lèi)駕駛員的接管數(shù)據(jù)對(duì)自動(dòng)駕駛進(jìn)行強(qiáng)化學(xué)習(xí)。

即自動(dòng)駕駛車(chē)輛在行駛過(guò)程中,人類(lèi)的每一次接手本質(zhì)上可以理解為當(dāng)前階段的自動(dòng)駕駛解決方案的不滿意,而人類(lèi)接手后的駕駛方案可以理解為更優(yōu)的決策。所以通過(guò)對(duì)人類(lèi)接手后駕駛方案的學(xué)習(xí),能夠讓自動(dòng)駕駛做出更像人的駕駛行為。

在當(dāng)時(shí)的AI DAY上,毫末智行CEO顧維灝曾提到:“通過(guò)這種方式,在公認(rèn)的困難場(chǎng)景,例如掉頭、環(huán)島等,我們的通過(guò)率提升了30%以上。”

因此,雖然ChatGPT無(wú)法直接應(yīng)用到自動(dòng)駕駛,但是ChatGPT的訓(xùn)練過(guò)程,以及其面臨的具體問(wèn)題及其解決方案都值得學(xué)習(xí),也將對(duì)自動(dòng)駕駛的發(fā)展帶來(lái)深遠(yuǎn)的影響。

二、ChatGPT的啟示

對(duì)于自動(dòng)駕駛來(lái)說(shuō),除了模型訓(xùn)練方式和具體問(wèn)題的解決之外,ChatGPT還能給自動(dòng)駕駛帶來(lái)哪些啟示呢?

第一點(diǎn),也是最重要的一點(diǎn),就是ChatGPT給人類(lèi)實(shí)現(xiàn)自動(dòng)駕駛提供了信心。

如小冰公司CEO李笛所說(shuō),大模型某種意義上意味著一種暴力,一種大力出奇跡的狀態(tài)。ChatGPT也跟它的前身GPT-3模型一樣擁有1750億個(gè)參數(shù),這是一種解決方案,即在人工智能這件事兒上,ChatGPT的成功意味著大力出奇跡是可行的。

在ChatGPT之前,困擾自動(dòng)駕駛從業(yè)者一個(gè)很重要的問(wèn)題在于,無(wú)窮無(wú)盡的corner case是不是真的能夠解決完。為了盡可能解決這個(gè)問(wèn)題,一些自動(dòng)駕駛公司琢磨出數(shù)字孿生、3D重建、占用網(wǎng)絡(luò)等多種方式。

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

而ChatGPT出現(xiàn)之后,又給自動(dòng)駕駛解決corner case提供了新的思路,即只要數(shù)據(jù)量足夠多,依靠“人類(lèi)反饋強(qiáng)化學(xué)習(xí)”,讓自動(dòng)駕駛有能力應(yīng)對(duì)所有corner case也并非不可能。

而要實(shí)現(xiàn)這樣的數(shù)據(jù)訓(xùn)練,大模型就會(huì)成為自動(dòng)駕駛企業(yè)的必備技術(shù)。所以就像百度自動(dòng)駕駛技術(shù)專(zhuān)家王井東提到的那樣:“大模型已經(jīng)成為自動(dòng)駕駛能力提升核心驅(qū)動(dòng)力。”

當(dāng)然,要應(yīng)用大模型實(shí)際上并不簡(jiǎn)單。

首先面臨的就是成本問(wèn)題,大模型具有參數(shù)規(guī)模大、數(shù)據(jù)訓(xùn)練規(guī)模大,對(duì)算力要求大、成本高的特點(diǎn)。據(jù)國(guó)盛證券估算,GPT-3訓(xùn)練一次的成本約為140萬(wàn)美元,對(duì)于一些更大的LLM(大型語(yǔ)言模型),訓(xùn)練成本介于200萬(wàn)美元至1200萬(wàn)美元之間,折合人民幣基本每一次都過(guò)了千萬(wàn)。

所以對(duì)于自動(dòng)駕駛企業(yè)來(lái)說(shuō),解決算力問(wèn)題就變得尤為重要。以特斯拉為例,其在決定將Transformer應(yīng)用到自動(dòng)駕駛訓(xùn)練同時(shí),就推出了自己全新研發(fā)的超級(jí)計(jì)算機(jī)Dojo,從算力規(guī)模上看,當(dāng)時(shí)的Dojo幾乎一出道就成功卡位了全球第五大超級(jí)計(jì)算機(jī)。

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

圖:特斯拉 Dojo

在國(guó)內(nèi),小鵬2022年和阿里云一起在烏蘭察布建立了智算中心“扶搖”。更早的2021年底,毫末也曾發(fā)布自己的自動(dòng)駕駛數(shù)據(jù)智能體系MANA,到今年年初,毫末又進(jìn)一步宣布建成了智算中心(MANA OASIS)。

所以在大模型背后,算力也將成為未來(lái)自動(dòng)駕駛企業(yè)在市場(chǎng)競(jìng)爭(zhēng)中的核心能力,而在算力充足的基礎(chǔ)上,優(yōu)化算法效率來(lái)降低云端的訓(xùn)練成本也會(huì)成為重要的技術(shù)優(yōu)勢(shì)。

除了在成本和算力方面的考慮,自動(dòng)駕駛與ChatGPT的差異也表現(xiàn)在,相比在網(wǎng)頁(yè)端,大模型在自動(dòng)駕駛領(lǐng)域的落地會(huì)比較困難。

比如前面提到大模型需要大量的計(jì)算資源和存儲(chǔ)空間,但車(chē)端受限于硬件條件,計(jì)算資源和存儲(chǔ)空間都有限,而且還要考慮功耗和散熱等問(wèn)題。

除此之外,自動(dòng)駕駛需要實(shí)時(shí)地對(duì)周?chē)h(huán)境進(jìn)行感知決策,因此大模型的計(jì)算速度需要非?,但從目前ChatGPT的反應(yīng)速度來(lái)看,這顯然還有難度。

針對(duì)這些問(wèn)題,目前國(guó)內(nèi)自動(dòng)駕駛企業(yè)也提出了一些解決辦法,比如通過(guò)定制Transformer專(zhuān)用加速芯片來(lái)提升計(jì)算效能,以及通過(guò)改進(jìn)車(chē)端模型,通過(guò)輕量化的模型來(lái)提升計(jì)算效率。

當(dāng)然,ChatGPT除了給自動(dòng)駕駛提供了“大力出奇跡”的信心之外,它更重要的革命性意義在于,讓AI模型進(jìn)入了知識(shí)和推理的時(shí)代。

這恰恰是當(dāng)前自動(dòng)駕駛面臨的最大短板,即決策規(guī)劃缺乏足夠的智能。而如果能夠?qū)hatGPT的技術(shù)應(yīng)用到自動(dòng)駕駛的決策規(guī)劃上,讓模型學(xué)會(huì)駕駛知識(shí)和駕駛策略推理,那么將會(huì)極大地拔高整個(gè)自動(dòng)駕駛軟件的智能上限。

這里其實(shí)和前面提到的毫末人駕自監(jiān)督大模型是一個(gè)邏輯。

顧維灝曾提到,當(dāng)前基于傳統(tǒng)、基于規(guī)則的認(rèn)知算法已經(jīng)進(jìn)入瓶頸,很難取得突破。毫末一直在嘗試通過(guò)人駕自監(jiān)督大模型的方式來(lái)提升自動(dòng)駕駛決策的效果,使得自動(dòng)駕駛更像老司機(jī)。

百度的嘗試也是同樣的路徑,百度在最新財(cái)報(bào)電話會(huì)上提到,按照部署,未來(lái)文心一言背后大模型技術(shù)在自動(dòng)駕駛上的應(yīng)用,將加深車(chē)輛對(duì)復(fù)雜城市路況的理解,進(jìn)一步提升自動(dòng)駕駛安全性和可靠性。

從這個(gè)角度,ChatGPT的技術(shù)或有可能推動(dòng)實(shí)現(xiàn)L4級(jí)別自動(dòng)駕駛的實(shí)現(xiàn)。

除此之外,ChatGPT還可以對(duì)自動(dòng)駕駛場(chǎng)景生成帶來(lái)幫助。

作為軟件工程師,知乎作者@我是路頭new 在研究如何用OpenScenario 2.0中定義的智能駕駛場(chǎng)景描述語(yǔ)言來(lái)進(jìn)行試車(chē)場(chǎng)景提取,語(yǔ)義級(jí)別仿真場(chǎng)景生成,仿真場(chǎng)景泛化的過(guò)程中使用了ChatGPT。

他讓ChatGPT幫忙生成一個(gè)Cut-in場(chǎng)景,在給定參數(shù)的情況下,ChatGPT能夠詳細(xì)給出基于OpenScenario 2.0的自動(dòng)駕駛場(chǎng)景數(shù)據(jù),甚至在參數(shù)不足的時(shí)候,它還會(huì)提醒作者需要設(shè)計(jì)其他參數(shù)。

爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

同時(shí),作者還測(cè)試了一些道路泛化的問(wèn)題,即不給ChatGPT人為設(shè)定參數(shù),而是讓限制條件下讓ChatGPT自動(dòng)生成數(shù)據(jù)。而面對(duì)這個(gè)問(wèn)題,ChatGPT也給出了合格的答案。

更重要的是,當(dāng)作者提問(wèn)到,是否能夠生成之前提到條件下的所有場(chǎng)景,ChatGPT給出了一個(gè)科學(xué)計(jì)算的結(jié)果——131000。

對(duì)于真正的自動(dòng)駕駛場(chǎng)景來(lái)說(shuō),這樣的場(chǎng)景生成自然還十分粗淺,但這其實(shí)給自動(dòng)駕駛場(chǎng)景生成,道路泛化提供了另一種思路和可能。

可以說(shuō),就像每一次底層技術(shù)的創(chuàng)新都會(huì)帶來(lái)大規(guī)模的技術(shù)裂變一樣,ChatGPT雖然不能直接應(yīng)用在自動(dòng)駕駛場(chǎng)景,但其背后的技術(shù)路徑,解決復(fù)雜問(wèn)題的思路,都將為自動(dòng)駕駛的發(fā)展提供最具價(jià)值的參考意義。

       原文標(biāo)題 : 爆火的ChatGPT,能讓自動(dòng)駕駛成為老司機(jī)嗎?

聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)