經(jīng)典MIT的Deep Learning for Self－driving Car課程上，邀請到了Waymo首席科學(xué)家Drago Anguelov，分享題為“Taming The Long Tail of Autonomous Driving Challenges（馴服自動駕駛的長尾挑戰(zhàn)）”，主要是講在現(xiàn)實世界中的Long Tail現(xiàn)象，各種異常情況該如何收集、融合、發(fā)布和測試。

知乎＠黃浴總結(jié)了此課程的一些新看點：

1． 題目是“長尾”處理；

2． 可以處理道路維修場景；

3． 可以識別特殊車輛（警車／救護(hù)車／消防車）；

4． 可以預(yù)防闖紅燈的車輛；

5． 可以對馬路自行車行為軌跡預(yù)測；

6． 通過NAS學(xué)習(xí)模型；

7． 不完全依賴機(jī)器學(xué)習(xí)，可以利用專家知識（domain knowledge）；

8． 不是E2E學(xué)習(xí)駕駛行為，而是Mid－2－Mid，就是最近的ChauffeurNet；

9． 學(xué)習(xí)的行為預(yù)測有自適應(yīng)性，比如激進(jìn)的或者溫和禮貌的；

10． 仿真不能解決所有問題，仿真系統(tǒng)需要更多的agent model，要smart。

下面是智車科技對本次分享的視頻解讀及PPT：

我畢業(yè)于斯坦福大學(xué)博士學(xué)位，曾研究機(jī)器人相關(guān)領(lǐng)域�，F(xiàn)在Google帶領(lǐng)團(tuán)隊研究3D感知，以此來構(gòu)建一個全新的自動駕駛感知系統(tǒng)。

Waymo這家公司截止上個月已經(jīng)成立了十周年了（2009年成立）它起源于Google X。

2015年，我們研發(fā)的這款自動駕駛汽車進(jìn)行公路路測試驗，這是世界上第一輛成功實現(xiàn)自動駕駛的汽車。在這個案例中，坐在車?yán)锏娜耸莻�盲人，我們認(rèn)為這個項目的意義重大。所以我們不僅僅希望這臺車只是一個成功的演示案例，我們更加希望能夠?qū)崿F(xiàn)無人駕駛。

我將給你們展示一個很酷的視頻。你們看，這臺汽車真的在自己行駛在公路上。2018年，自動駕駛商業(yè)化，這臺車學(xué)習(xí)了很多司機(jī)用戶的駕駛習(xí)慣，使它自身擁有強(qiáng)大的自動駕駛能力。它也成功的在公路上自主行駛（無人駕駛狀態(tài)）超過10，000，000，000公里。我們的路測實驗幾乎涵蓋了所有的不同城市的駕駛場景，收集了很多駕駛數(shù)據(jù)。

我想解釋一下為什么今天的演講的題目是“項目的長尾問題”。因為我們在自動駕駛這條路上，我們還有很多問題需要處理和解決，才能使得自動駕駛更加完善。

自動駕駛系統(tǒng)要求有足夠的能力，在沒有人類司機(jī)干預(yù)的情況下，安全地處理所有的突發(fā)情況。

事實上，突發(fā)的異常情況總是發(fā)生，而且這些異常情況經(jīng)常是比較復(fù)雜且少見的，而自動駕駛就是要安全的解決這些突發(fā)的復(fù)雜且少見的情況。這就是我所說的“長尾巴情況”，它不同于在常見的場景中的自動駕駛，而這種復(fù)雜且少見的駕駛場景在自動駕駛領(lǐng)域確實非常重要。

我們來看這場景，畫面中騎自行車的人帶著一塊“停止”的標(biāo)志牌。但是我們并不知道他會停在哪里，什么時候停下。

我們再來看這個場景，有東西掉在路上了，周圍的建筑也是一個問題。

現(xiàn)實中存在很多不同的場景和不同的問題，像這個視頻中，我們的車輛聽到了其他車輛的鳴笛聲音，那么如何處理這個鳴笛的聲音，這些都需要很好的（安全的）解決掉。

那么我們是如何解決這些問題的呢？

首先是，感知。我們利用傳感器感知周圍環(huán)境，并在屏幕上顯示（可以顯示周圍的建筑、環(huán)境等等），以此重新構(gòu)建一個地圖。

感知的復(fù)雜性包括，在路上，有很多不同的物體，他們有不同的形狀、顏色、狀態(tài)。比如，有不同樣式的信號燈，路上有動物和行人，行人還會穿著不同顏色的衣服，有不同的姿勢狀態(tài)。為了清晰的觀察到這些，我們裝置了很多傳感器，來解決這個問題。

感知的復(fù)雜性還包括，很多不同的環(huán)境。比如，一天當(dāng)中不同的時間段（白天／黑夜），不同的季節(jié)，不同的天氣下雨或者下雪。這些都需要識別。

感知的復(fù)雜性還包括，不同的場景配置，或者叫物體之間的關(guān)系識別。不同的搭配就有不同的物體之間的關(guān)系，比如圖片中，一個人拿著一塊巨大的板子，第二幅圖中，玻璃中有反光現(xiàn)象，第三幅圖中人騎著馬等等不同的場景和關(guān)系。

這種映射功能是一個非常復(fù)雜的功能，這是由物體、環(huán)境、場景配置共同決定的。

所以這需要我們在觀察周圍環(huán)境的基礎(chǔ)上做出預(yù)判，對周邊人和物體的下一個動作做出預(yù)判，即我們要對短時間內(nèi)發(fā)生的事情做出一個預(yù)測。