加拿大滑鐵盧大學(xué)曹東璞教授團(tuán)隊(duì)提出了在基于駕駛員行為分析的基礎(chǔ)上，進(jìn)一步明確駕駛員人腦意圖產(chǎn)生機(jī)制并建模，從而希望在駕駛員執(zhí)行具體車輛操作之前獲得準(zhǔn)確的駕駛意圖判斷。

研究意義

智能汽車的發(fā)展和高級(jí)駕駛員輔助系統(tǒng)的普及為車輛安全帶來了極大保障，進(jìn)一步提高了車輛的駕駛安全性和舒適性。然而，隨著車輛智能化的發(fā)展，智能控制單元與駕駛員越來越多的共享對(duì)車輛的底層控制權(quán)，智能汽車會(huì)難以避免的對(duì)駕駛員進(jìn)行“奪權(quán)”，或在重要時(shí)刻干擾駕駛員做出有利于駕駛員本身利益的控制策略，進(jìn)而造成安全隱患。因此，智能汽車不能忽視對(duì)車輛最高決策者－駕駛員的理解和感知。現(xiàn)階段的高級(jí)駕駛員輔助系統(tǒng)已經(jīng)初步具備對(duì)駕駛員的行為的監(jiān)控功能，如預(yù)防疲勞駕駛的人眼識(shí)別、防止分心的動(dòng)作識(shí)別、以及駕駛員情緒識(shí)別。然而，從智能人車共駕角度來看，僅僅檢測駕駛員的面部特征和行為仍然難以滿足車輛智能駕駛的需求。因此，加拿大滑鐵盧大學(xué)曹東璞教授團(tuán)隊(duì)提出了在基于駕駛員行為分析的基礎(chǔ)上，進(jìn)一步明確駕駛員人腦意圖產(chǎn)生機(jī)制并建模，從而希望在駕駛員執(zhí)行具體車輛操作之前獲得準(zhǔn)確的駕駛意圖判斷。

駕駛意圖的推理能夠使駕駛員輔助系統(tǒng)更全面的理解和輔助駕駛員的駕駛?cè)蝿?wù)。以換道意圖為例，換道意圖預(yù)測有助于幫助車輛環(huán)境感知系統(tǒng)提早檢測駕駛員的感興趣駕駛區(qū)域，實(shí)現(xiàn)盲區(qū)探測和駕駛預(yù)警。同時(shí)，還能避免因駕駛員不規(guī)范換道操作，如沒有開啟轉(zhuǎn)向燈而造成的與道路保持系統(tǒng)對(duì)車輛控制權(quán)的沖突問題。該團(tuán)隊(duì)在完善人腦意圖認(rèn)知模型的同時(shí)，正將此模型用于高級(jí)別無人駕駛車輛的決策與規(guī)劃問題。通過學(xué)習(xí)熟練駕駛員的意圖產(chǎn)生與決策機(jī)制，指導(dǎo)未來無人車輛在相似道路環(huán)境下的擬人化決策問題。駕駛員的意圖推理也可以促進(jìn)駕駛員場景認(rèn)知（situationawareness）研究，通過學(xué)習(xí)駕駛員的駕駛特性、駕駛知識(shí)、車輛交互方法，建立一套更完整駕駛員認(rèn)知模型。

意圖推理劃分

精確區(qū)分駕駛員意圖等級(jí)是駕駛意圖推理的前提。駕駛員意圖可以從多個(gè)方面進(jìn)行分類，如時(shí)間尺度，運(yùn)動(dòng)方向以及意圖預(yù)測任務(wù)的數(shù)量方面。從時(shí)間尺度上來說，可分為策略級(jí)（Strategical Level）， 任務(wù)級(jí)（Tactical Level）， 及操控級(jí)（Operational Level），如圖1所示。位于頂層的策略級(jí)意圖是對(duì)當(dāng)前駕駛?cè)蝿?wù)的整體策劃，如選擇相關(guān)的路線、駕駛策略、目的地等。其時(shí)間尺度最長，通常在分鐘或小時(shí)級(jí)。任務(wù)級(jí)駕駛意圖是研究的重點(diǎn)，其包含了各種常見的駕駛行為，如換道、轉(zhuǎn)向、制動(dòng)等。由于道路環(huán)境的隨機(jī)性，這一部分的駕駛意圖無法像策略級(jí)意圖那樣精確判斷，只能依賴于時(shí)序駕駛員行為特征進(jìn)行反推。這一級(jí)別的駕駛意圖通常在分鐘級(jí)或秒級(jí)。最底層的操控級(jí)意圖是任務(wù)級(jí)意圖的具體表現(xiàn)，如駕駛員對(duì)車輛的橫、縱向控制。操控級(jí)的意圖比前兩級(jí)意圖更加快速，通常在秒級(jí)或毫秒級(jí)。每個(gè)任務(wù)級(jí)意圖通常由一系列的操控級(jí)意圖組成。因此，對(duì)任務(wù)級(jí)意圖的推斷可以通過識(shí)別駕駛員相關(guān)的操控行為得出。其他的駕駛員意圖分類方法還有基于車輛運(yùn)動(dòng)方向的橫向和縱向意圖分類方法、基于意圖預(yù)測任務(wù)，如單一意圖與多意圖融合的預(yù)測方法。

圖1． 駕駛員意圖時(shí)間尺度分類

意圖推理方法

駕駛員意圖推理的方法主要集中于機(jī)器學(xué)習(xí)的建模方式，如生成式模型（隱馬爾可夫模型、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)）和判別式模型（支持向量機(jī)、前饋神經(jīng)網(wǎng)絡(luò)、決策樹）等。判別式模型多采用非時(shí)序特征數(shù)據(jù)作為模型輸入并將模型等價(jià)為分類網(wǎng)絡(luò)進(jìn)行駕駛意圖判斷。以隱馬爾科夫模型為例的生成式模型允許短期時(shí)序數(shù)據(jù)進(jìn)行建模。然而由于模型體積和深度因素，通常難以捕捉長期時(shí)序數(shù)據(jù)的動(dòng)態(tài)特性，模型的預(yù)測能力和精度較低。根據(jù)UCSD Trivedi團(tuán)隊(duì)發(fā)現(xiàn)，相對(duì)于判別式模型，生成式模型對(duì)多意圖推理的任務(wù)更為有效。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，時(shí)序深度神經(jīng)網(wǎng)絡(luò)也逐步被用于駕駛員或智能車輛的決策與規(guī)劃。深度循環(huán)神經(jīng)網(wǎng)絡(luò)作為目前主流的時(shí)序神經(jīng)網(wǎng)絡(luò)也被用于駕駛員的意圖推理。結(jié)合長短期記憶網(wǎng)絡(luò)，深度循環(huán)神經(jīng)網(wǎng)絡(luò)具備更深的網(wǎng)絡(luò)結(jié)構(gòu)，可以保存更長時(shí)間的駕駛員行為特征，有利于獲取長期序列駕駛行為間的依賴關(guān)系，建立更加精確的意圖推理模型。

除基于學(xué)習(xí)的方法外，Drexel University的D． Salvucci等人也從認(rèn)知心理學(xué)角度出發(fā)開發(fā)了基于數(shù)學(xué)模型的認(rèn)知過程表征方法，可以較為明確的解釋部分意圖產(chǎn)生的機(jī)制和機(jī)理，然而，基于明確數(shù)學(xué)模型的方法難以有效利用駕駛員行為數(shù)據(jù)，無法充分考慮如駕駛風(fēng)格、分心或疲勞等其他精神層面因素對(duì)駕駛意圖的影響。同時(shí)，目前智能車輛動(dòng)輒可具備上百個(gè)傳感器，基于數(shù)學(xué)的表征方法難以充分利用時(shí)序車輛動(dòng)態(tài)特性對(duì)駕駛意圖進(jìn)行精確預(yù)測。常見的駕駛意圖建模方法如圖2所示。

圖2． 駕駛員意圖建模方法分類

意圖推理評(píng)價(jià)指標(biāo)

意圖推理的評(píng)價(jià)指標(biāo)可以從精確度和超前性兩方面進(jìn)行判斷。以換道意圖為例，根據(jù)駕駛員的換道行為可以將換道意圖簡單分為直線保持、左換道和右換道。通過監(jiān)督學(xué)習(xí)使模型產(chǎn)生相應(yīng)的預(yù)測結(jié)果，結(jié)合接受者操作特征（ROC）曲線等分類精度判別方法可以測量駕駛意圖的預(yù)測精度。超前性的評(píng)價(jià)相對(duì)復(fù)雜，以圖3所示的換道重要時(shí)刻為例，T1時(shí)刻代表駕駛員產(chǎn)生換道意圖，由于隱性換道意圖的不可測性，難以精確測量具體的意圖產(chǎn)生時(shí)刻。T2時(shí)刻代表駕駛員開始執(zhí)行換道操作并在T3時(shí)刻車輛跨越當(dāng)前車道的車道線，最終在T4時(shí)刻完成完整的換道行為。因此，換道意圖推理的目的是在T3時(shí)刻之前判斷出車輛換道行為。更嚴(yán)格地，需要在T2時(shí)刻駕駛員開始執(zhí)行換道操作之前預(yù)測出當(dāng)前的駕駛意圖。隨著觀測時(shí)間的縮短，意圖推理難度也不斷增大。

圖3． 換道過程重要時(shí)刻

展望

目前針對(duì)駕駛員意圖的研究主要集中在單一的意圖推理方法研究上，其通常需要假設(shè)駕駛員會(huì)完成換道動(dòng)作并在模型建立過程中只采用成功的換道數(shù)據(jù)。這在復(fù)雜的交通場景下通常難以獲得滿意的預(yù)測精度。同時(shí)，尚沒有建立駕駛員意圖與其他駕駛員狀態(tài)間的關(guān)系，如不同注意程度或疲勞程度可以產(chǎn)生不同的駕駛行為。未來需要全面結(jié)合駕駛員狀態(tài)分析和行車環(huán)境分析數(shù)據(jù)，建立強(qiáng)魯棒的駕駛員狀態(tài)自適應(yīng)模型以精確預(yù)測駕駛意圖。

相關(guān)研究成果已發(fā)表在 IEEE Transactions on Vehicular Technology 匯刊：Yang Xing， Chen Lv， Huaji Wang， Hong Wang， Yunfeng Ai， Dongpu Cao， Efstathios Velenis， Fei－Yue， Wang． （2019） Driver Lane Change Intention Inference for Intelligent Vehicles： Framework， Survey， and Challenges． IEEE Transactions on Vehicular Technology． 14 pages． （Early Access）