訂閱
糾錯(cuò)
加入自媒體

RSS 2020 | 在目標(biāo)、動(dòng)力學(xué)和意圖不確定下的隱含信念空間運(yùn)動(dòng)規(guī)劃

二、問(wèn)題規(guī)范化

該論文考慮的是如下圖所示的POMDP 問(wèn)題:系統(tǒng)處于連續(xù)的狀態(tài)-動(dòng)作-觀測(cè)空間中,而系統(tǒng)的狀態(tài)轉(zhuǎn)移除了受到上一時(shí)刻的狀態(tài)和動(dòng)作影響,還由一個(gè)離散的隱變量z 決定,而每一時(shí)刻的觀測(cè)量則由當(dāng)前時(shí)刻的系統(tǒng)狀態(tài)以及隱變量共同決定。其中隱變量z 可用于表示系統(tǒng)中不確定性的不同模態(tài),如旁側(cè)車(chē)輛駕駛者的性格、不同行進(jìn)路線的路況、路面的物理狀況等。

對(duì)隱變量z 的不同可能性的置信度b(z),我們可以通過(guò)如下定義進(jìn)行更新。

問(wèn)題的最終目標(biāo)是對(duì)行為策略π 進(jìn)行優(yōu)化,從而使得累計(jì)損失函數(shù)值 J 達(dá)到最低。

其中l(wèi) 和lf分別為根據(jù)置信度b 加權(quán)平均得到的過(guò)程損失函數(shù)和最終損失函數(shù)。由該公式取最優(yōu)行為策略π* 后得出的值函數(shù)V 可以表示成貝爾曼方程形式,進(jìn)行遞歸處理。

三、方 法

論文提出了一種新的微分動(dòng)態(tài)規(guī)劃(DDP)算法,Partially Observable Differential Dynamic Programming (PODDP),可用于解決連續(xù)空間下的POMDP 問(wèn)題。與一般的iLQG/DDP 算法相似,PODDP 也把流程分為了前向過(guò)程(Forward Pass)和后向過(guò)程(Backward Pass),并對(duì)動(dòng)作序列進(jìn)行迭代優(yōu)化。

1. 前向過(guò)程在前向過(guò)程進(jìn)行前,動(dòng)作序列U = { u0, u1, …, uT-1 } 需要預(yù)先給定。在初始化的前向過(guò)程中,一般使用隨機(jī)生成的動(dòng)作序列,或者通過(guò)某些前導(dǎo)知識(shí)有規(guī)律地生成動(dòng)作序列。在此后的過(guò)程中,將使用前一次優(yōu)化得到的動(dòng)作序列,進(jìn)行迭代優(yōu)化。

在確定性系統(tǒng)中,由于狀態(tài)轉(zhuǎn)移過(guò)程是確定的,故給定的動(dòng)作序列將衍生出一條鏈?zhǔn)降臓顟B(tài)序列。但在我們考慮的系統(tǒng)中,由于多模態(tài)不確定性的存在,類(lèi)比于離散空間下的POMDP 問(wèn)題,每一個(gè)節(jié)點(diǎn)都可以根據(jù)隱變量z 的不同取值可能性,延伸出多個(gè)分支,最終形成一個(gè)樹(shù)狀的軌跡推演,即軌跡樹(shù)(trajectory tree),如上圖所示。

為了更直觀地理解,我們可以考慮一個(gè)公路上的變道場(chǎng)景。如下圖,我們的汽車(chē)(紅色)希望變道到左側(cè)車(chē)道,可是左側(cè)車(chē)道上已經(jīng)有一輛車(chē)了。我們?cè)谶M(jìn)行軌跡優(yōu)化的時(shí)候,將未來(lái)可能獲得的關(guān)于旁側(cè)車(chē)輛駕駛者性格的觀測(cè)納入考慮當(dāng)中,對(duì)方可能是合作性格的,也可能是激進(jìn)性格的,這兩種性格分別對(duì)應(yīng)兩個(gè)不同的模態(tài)。在向前推演的時(shí)候,根據(jù)這兩種不同模態(tài)的最大似然值進(jìn)行分支,獲得軌跡推演樹(shù)。每一條從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的完整支路對(duì)應(yīng)一條可能發(fā)生的軌跡。

2. 后向過(guò)程為了對(duì)軌跡樹(shù)進(jìn)行優(yōu)化,我們首先定義值函數(shù)擾動(dòng)方程Qt以描述在某一時(shí)刻t 下系統(tǒng)狀態(tài)和動(dòng)作的擾動(dòng)對(duì)值函數(shù)的影響。

聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)