02 端到端搜索：從頭開始搜索新的架構(gòu)

被最初成功的結(jié)果所鼓舞，接著就是更進(jìn)一步、更廣泛地尋找能夠提供更好結(jié)果的全新架構(gòu)，通過(guò)不局限于組合已經(jīng)發(fā)現(xiàn)的NAS單元，可以更直接地尋找考慮到嚴(yán)格的延遲需求的架構(gòu)。

執(zhí)行端到端搜索通常需要手動(dòng)探索數(shù)千個(gè)架構(gòu)，這需要大量的計(jì)算成本。探索單一架構(gòu)需要在具有多個(gè)GPU卡的數(shù)據(jù)中心計(jì)算機(jī)上進(jìn)行幾天的培訓(xùn)，這意味著搜索單個(gè)任務(wù)需要數(shù)千天的計(jì)算時(shí)間。相反，通過(guò)設(shè)計(jì)了一個(gè)代理任務(wù)：一個(gè)縮小的激光雷達(dá)分割任務(wù)，可以在幾個(gè)小時(shí)內(nèi)解決。

Waymo團(tuán)隊(duì)必須克服的一個(gè)挑戰(zhàn)，是找到一個(gè)與最初的細(xì)分任務(wù)足夠相似的代理任務(wù)。在確定代理任務(wù)上的架構(gòu)質(zhì)量與原始任務(wù)上的架構(gòu)質(zhì)量之間的良好相關(guān)性之前，對(duì)幾個(gè)代理任務(wù)設(shè)計(jì)進(jìn)行了試驗(yàn)。然后，啟動(dòng)了一個(gè)類似于AutoML論文的搜索，但現(xiàn)在是代理任務(wù)：一個(gè)端到端代理搜索。這是這個(gè)概念第一次應(yīng)用在激光雷達(dá)數(shù)據(jù)上。

圖二：代理端到端搜索：在一個(gè)縮小的代理任務(wù)上探索數(shù)千個(gè)架構(gòu)，將100個(gè)最佳架構(gòu)應(yīng)用于原始任務(wù)，驗(yàn)證和部署car上最好架構(gòu)中的最好架構(gòu)

Waymo使用了幾種搜索算法，對(duì)質(zhì)量和延遲進(jìn)行優(yōu)化，因?yàn)檫@對(duì)車輛非常重要。觀察不同類型的CNN架構(gòu)，使用不同的搜索策略，如隨機(jī)搜索和強(qiáng)化學(xué)習(xí)，能夠?yàn)榇�理任�?wù)探索超過(guò)10，000種不同的架構(gòu)。通過(guò)使用代理任務(wù)，在谷歌TPU集群上需要一年以上計(jì)算時(shí)間的任務(wù)只需要兩周時(shí)間。

當(dāng)我們剛剛轉(zhuǎn)移了NAS單元，結(jié)果發(fā)現(xiàn)了比以前更好的網(wǎng)絡(luò)：

在相同的質(zhì)量下，神經(jīng)網(wǎng)絡(luò)的延遲降低20－30％；

具有更高質(zhì)量的神經(jīng)網(wǎng)絡(luò)，錯(cuò)誤率降低8－10％，與以前的架構(gòu)具有相同的延遲。

圖三 ：1）第一個(gè)圖展示了在一組簡(jiǎn)單的架構(gòu)上隨機(jī)搜索發(fā)現(xiàn)的大約4000個(gè)架構(gòu)。每個(gè)點(diǎn)都是一個(gè)經(jīng)過(guò)培訓(xùn)和評(píng)估的架構(gòu)。實(shí)線表示不同推理時(shí)間約束下的最佳體系結(jié)構(gòu)，紅點(diǎn)表示用轉(zhuǎn)移學(xué)習(xí)構(gòu)建的網(wǎng)絡(luò)的延遲和性能。在這種隨機(jī)搜索中，網(wǎng)絡(luò)學(xué)習(xí)效果不如遷移學(xué)習(xí)

圖三：2）在第二張圖中，黃色和藍(lán)色的點(diǎn)表示另外兩種搜索算法的結(jié)果。黃色的是對(duì)一組精致架構(gòu)的隨機(jī)搜索。藍(lán)色的那個(gè)使用了強(qiáng)化學(xué)習(xí)，就像在［1］中一樣，探索了6000多個(gè)架構(gòu)。它產(chǎn)生了最好的結(jié)果。這兩個(gè)額外的搜索發(fā)現(xiàn)，網(wǎng)絡(luò)明顯優(yōu)于遷移學(xué)習(xí)的網(wǎng)絡(luò)

在搜索中發(fā)現(xiàn)的一些架構(gòu)顯示了卷積、池化和反卷積操作的創(chuàng)造性組合，如下圖所示。這些架構(gòu)最終非常適合最初的激光雷達(dá)分割任務(wù)，并將部署在Waymo的自動(dòng)駕駛汽車上。

圖四：由代理端到端搜索發(fā)現(xiàn)的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

03 接下來(lái)是什么

Waymo的Auto ML實(shí)驗(yàn)僅僅是個(gè)開始。對(duì)于激光雷達(dá)分割任務(wù)，傳輸學(xué)習(xí)和代理端到端搜索都提供了比人工制作更好的網(wǎng)絡(luò)，現(xiàn)在有機(jī)會(huì)將這些機(jī)制應(yīng)用到新的任務(wù)類型上，這可以改善許多其他的神經(jīng)網(wǎng)絡(luò)。

這一發(fā)展為未來(lái)的ML工作開辟了新的令人興奮的道路，并將提高Waymo的自動(dòng)駕駛技術(shù)的性能和能力，并繼續(xù)與谷歌AI大腦的合作。