在剛剛過去的CVPR上，isee聯(lián)合北京大學、加州大學洛杉磯分校、麻省理工學院共同發(fā)布了一項研究成果，稱為多智能體張量融合（Multi－Agent Tensor Fusion，MATF）。該模型將多個代理的過去軌跡和場景編碼為一個多代理張量，然后應用卷積融合捕獲多代理之間的交互，同時保留代理的空間結(jié)構(gòu)和場景。該模型使用對抗性損失來學習隨機預測。通過在高速公路場景和行人擁擠場景的數(shù)據(jù)集的實驗表明，該模型達到了最先進的預測精度。

開車是一種社交活動�？紤]一下這個場景中令人印象深刻的多主體社會交互（讓人頭疼的環(huán)島路）：

司機們在一個復雜的場景中駕駛，且同時基本保持安全。在于同一環(huán)境下的其他道路參與者近距離行駛或交互的情況下，在無法掌握其他車輛的全部行駛意圖的情況下，人類駕駛員可以保證大概率的交通安全，是非常了不起的。那么人類駕駛員又是如何完整這一壯舉的呢？

社會預測（Social prediction）是駕駛必不可少的一環(huán)

人類駕駛員利用他們的社交智能來預測其他交通參與者未來的動作將如何依賴于與自己以及場景的交互。通過預測附近的交通參與者的軌跡，駕駛員可以主動規(guī)劃安全的交互，盡可能減少當意外發(fā)生即將發(fā)生時候做出諸如急剎車等其他應急反應。

然而，人類駕駛員永遠無法完全肯定地預測另一輛車將會執(zhí)行怎樣的軌跡。人類駕駛員通常處于一種思考“他會讓行么？”“他不會突然加速吧？”“他會開多慢呢？”的情況中。

學會預測

研究人員開發(fā)了一種神經(jīng)網(wǎng)絡架構(gòu)，它可以從大規(guī)模數(shù)據(jù)中學習對其他軌跡進行概率預測。研究人員的方法只考慮在駕駛過程中收集的訓練數(shù)據(jù)，盡可能實現(xiàn)在環(huán)境、場景、車輛和代理的類型（卡車、轎車、公共汽車、摩托車、自行車、行人等）之間的泛化。

iess聯(lián)合北京大學、南加州大學、麻省理工共同開發(fā)的新方法，稱為多智能體張量融合（Multi－Agent Tensor Fusion，MATF）。通過在一個多智能體張量（MAT）表示中對齊場景特征和智能體軌跡特征，結(jié)合了空間和以智能體為中心表示的優(yōu)勢，如下所示。MAT編碼通過卷積運算自然處理場景與不同數(shù)量的代理，并預測場景中所有代理的軌跡的計算復雜度是線性的。GAN訓練允許MATF學會預測的分布軌跡捕獲局勢將如何發(fā)展的不確定性。MATF學會了預測關(guān)節(jié)軌跡，這可以解釋車輛之間諸如減速和避讓等互動行為。

這是MATF體系結(jié)構(gòu)的詳細說明。MATF體系結(jié)構(gòu)首先對場景的所有相關(guān)信息進行編碼，然后用一個遞歸神經(jīng)網(wǎng)絡對每個代理的過去軌跡進行處理，對每個代理的所有相關(guān)信息進行編碼。然后，網(wǎng)絡將場景和代理特征在空間上對齊成一個多代理張量，在場景中保留所有的局部和非局部空間關(guān)系。然后，利用學習的全卷積映射進行多智能體張量融合，得到融合后的多智能體張量作為多智能體驅(qū)動場景的最終編碼。卷積映射對于每個代理都是一樣的，它捕捉所有代理之間的空間關(guān)系和交互，同時適用于場景中的所有代理。然后，MATF方法從融合的多智能體張量中學習概率解碼信息，生成對場景特征和周圍智能體軌跡敏感的預測軌跡。

我們使用條件生成反求網(wǎng)絡（GAN）訓練技術(shù)，在給定MATF編碼的情況下，學習軌跡上的概率分布。GANs允許學習高保真度的生成模型來捕獲觀測數(shù)據(jù)的分布。在駕駛環(huán)境中，分布的模式對應于車輛或行人可能執(zhí)行的不同機動，例如跟隨車道／路徑和改變車道／路徑。每個模式周圍的分布對應于機動執(zhí)行的方式，如快、慢、主動、謹慎等。甘斯很自然地捕捉到了這兩種變化。重要的是，我們的GAN算法訓練模型生成關(guān)節(jié)軌跡，該軌跡考慮了車輛之間的相互作用，如屈服和避碰。

結(jié)論

研究人員首先應用他們的模型來學習預測車輛軌跡（其中，大規(guī)模駕駛數(shù)據(jù)由isee收集）。下圖顯示了五種場景，每種車輛過去的軌跡以不同的顏色顯示，后面是100條采樣的未來軌跡。地面實際發(fā)生的軌跡用黑色表示，車道中心用灰色表示。（a）顯示了涉及五輛車的復雜情況；MATF精確地預測了所有車輛的軌跡和速度剖面。在（b）中，MATF正確地預測出紅色車輛將完成換道。在（c）中，MATF捕捉到紅色車輛是否會從高速公路出口駛出的不確定性。在（d）中，一旦紫色的車輛通過高速公路出口，MATF預測它不會從高速公路出口通過。（e）中，MATF未能準確預測紅色車輛的地面真實軌跡；但是，預測車輛將在少量的采樣軌跡中啟動變道機動，這反映了從數(shù)據(jù)集中學習到的自發(fā)變道的低先驗概率。

接下來，研究人員將他們的模型應用到學習中，從斯坦福無人機數(shù)據(jù)集中預測行人和其他多種類型的代理的軌跡。斯坦福無人機數(shù)據(jù)集是一個大型且先進的數(shù)據(jù)集，其中包含行人、騎自行車的人、滑板者、手推車、小汽車和在大學校園中行駛的公共汽車的軌跡。下圖中，藍線表示過去的軌跡，紅線表示地面真實軌跡，綠線表示預測軌跡。圖中所示的所有代理的軌跡都是通過一個前向遍歷網(wǎng)絡來聯(lián)合預測的。該模型預測：（1）兩個從頂部進入環(huán)形交叉口的代理將從左側(cè)退出；（2）在環(huán)形交叉口上方的通路上，左側(cè)來的一個代理向左轉(zhuǎn)彎，向圖像頂部移動；（3）一個減速機在上述建筑物的門口和回旋處的右側(cè)減速。另一個雖然失敗但卻很有趣的案例（4）中，一個位于環(huán)形交叉口右上角的代理正在右轉(zhuǎn)，以移動到圖像的頂部；該模型可以預測轉(zhuǎn)彎，但未能準確預測轉(zhuǎn)彎角度。