該擾動(dòng)方程的推導(dǎo)過程與標(biāo)準(zhǔn)的DDP 擾動(dòng)方程推導(dǎo)相似，不同點(diǎn)在于其根據(jù)當(dāng)前時(shí)刻不同隱變量z 的置信度b（z） 進(jìn)行了加權(quán)平均，而且在狀態(tài)轉(zhuǎn)換時(shí)不僅考慮了系統(tǒng)狀態(tài)x 的演變，還考慮了獲得不同的觀測值時(shí)置信度b 的變化。通過置信度b 進(jìn)行加權(quán)平均的過程，實(shí)際上就是把后續(xù)分支節(jié)點(diǎn)進(jìn)行合并的過程。所以利用該方法，就可以從軌跡樹的葉節(jié)點(diǎn)開始，進(jìn)行遞歸操作直至根節(jié)點(diǎn)為止，對整顆軌跡樹進(jìn)行后向過程操作。

由于問題假設(shè)并未對狀態(tài)轉(zhuǎn)移模型以及損失函數(shù)的形式進(jìn)行約束，所以Q 的形式一般而言是非線性非凸的。為了沿用凸優(yōu)化的流程，我們需要對Q 進(jìn)行如下所示的二次近似操作。

此時(shí)我們就可以利用標(biāo)準(zhǔn)的凸優(yōu)化方法對整顆軌跡樹進(jìn)行優(yōu)化操作了。通過求解上述擾動(dòng)函數(shù)的二次近似函數(shù)的極小值，我們可以得到當(dāng)前時(shí)刻的最優(yōu)動(dòng)作擾動(dòng)，如下。

其中k 和K 分別是該時(shí)刻下開環(huán)控制和反饋控制的增益（具體推導(dǎo)過程與取值見論文）。

四、實(shí)驗(yàn)及結(jié)果

為了進(jìn)行對比實(shí)驗(yàn)驗(yàn)證PODDP 算法的效果，論文提出了兩種有實(shí)際意義的baseline 算法：

Probability Weighted DDP （PWDDP）：其根據(jù)當(dāng)前時(shí)刻的置信度直接對所有可能性進(jìn)行加權(quán)平均操作，而不考慮由于不同的未來觀測值而產(chǎn)生的軌跡分支；

Maximum Likelihood DDP （MLDDP）：其只考慮當(dāng)前時(shí)刻下置信度最高的隱變量，而忽略其他的可能性。這兩種baseline 算法都是常見的POMDP 應(yīng)對策略。

論文提出了三類不確定性，并為每一類不確定性都設(shè)置了一個(gè)實(shí)驗(yàn)場景：

目標(biāo)函數(shù)不確定 （T－Maze 場景）：我們的車輛位于一個(gè)T 字型的道路入口處，希望走到一個(gè)不確定的目標(biāo)地點(diǎn)。該目標(biāo)地點(diǎn)可能是道路的左側(cè)，也可能是道路的右側(cè)，而車輛必須沿側(cè)道路行駛至靠近分叉口的地方才能夠得到更好的觀測，以確定目標(biāo)所處的位置。

本體系統(tǒng)運(yùn)動(dòng)學(xué)規(guī)律不確定（Muddy Track 場景）：我們的車輛在一條泥濘的道路上朝一個(gè)目標(biāo)地點(diǎn)行駛，但右側(cè)的道路有一定的可能性會(huì)更加平滑。而我們的車輛必須在行駛中探索右側(cè)道路是否真的更平滑，從而規(guī)劃出一條最優(yōu)的行進(jìn)路線。

其他個(gè)體意圖不確定 （Lane Change 場景）：我們的車輛希望并線到左側(cè)車道，可是那里已經(jīng)有另一輛車了。我們需要時(shí)刻評估對方是比較合作禮讓的，還是比較沖動(dòng)激進(jìn)的，進(jìn)而確定應(yīng)該超車并線，還是等待對方先向前走遠(yuǎn)再并線到它后方。

下圖展示了在三種不同的場景下各個(gè)算法的量化表現(xiàn)。在三種場景下，論文提出的 PODDP 算法的累計(jì)實(shí)際損失函數(shù)值均顯著優(yōu)于另外兩種baseline 算法。

下圖展示了PODDP 算法在三中場景下規(guī)劃出的軌跡樹。

論文還加入了一項(xiàng)額外的實(shí)驗(yàn)，以進(jìn)一步展示PODDP 算法優(yōu)化出的軌跡的最優(yōu)性。該實(shí)驗(yàn)沿用了T－Maze 場景，在該場景下從小到大調(diào)整在同一位置的觀測不確定性的大小規(guī)模，從而對比不同算法在不同的不確定性規(guī)模下的性能。結(jié)果如下圖所示，可見PODDP 算法在不同的不確定性規(guī)模下均顯著優(yōu)于baseline 算法，而且具有更高的穩(wěn)定性。

五、討 論

這項(xiàng)工作結(jié)合了離散化隱變量和連續(xù)空間下的動(dòng)作軌跡優(yōu)化，提出了一種新的微分動(dòng)態(tài)規(guī)劃變體，可以有效地處理連續(xù)空間下的多模態(tài)不確定性POMDP 問題，填補(bǔ)了相關(guān)空白。由于軌跡樹的復(fù)雜度會(huì)隨著觀測推演的數(shù)量增加而指數(shù)膨脹，所以論文提出了一種層級(jí)PODDP 結(jié)構(gòu)，不必在每一個(gè)時(shí)刻都進(jìn)行觀測，以降低運(yùn)算復(fù)雜度，同時(shí)保持了控制輸出的頻率。

值得注意的是，雖然在該論文中設(shè)置的實(shí)驗(yàn)場景均為無人車應(yīng)用，但是論文提出的PODDP 算法完全可以應(yīng)用在各種不同的機(jī)器人軌跡規(guī)劃和優(yōu)化場景中，處理不同類型的多模態(tài)不確定性。

關(guān)于我“門”

將門是一家以專注于發(fā)掘、加速及投資技術(shù)驅(qū)動(dòng)型創(chuàng)業(yè)公司的新型創(chuàng)投機(jī)構(gòu)，旗下涵蓋將門創(chuàng)新服務(wù)、將門技術(shù)社群以及將門創(chuàng)投基金。將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

將門創(chuàng)新服務(wù)專注于使創(chuàng)新的技術(shù)落地于真正的應(yīng)用場景，激活和實(shí)現(xiàn)全新的商業(yè)價(jià)值，服務(wù)于行業(yè)領(lǐng)先企業(yè)和技術(shù)創(chuàng)新型創(chuàng)業(yè)公司。

將門技術(shù)社群專注于幫助技術(shù)創(chuàng)新型的創(chuàng)業(yè)公司提供來自產(chǎn)、學(xué)、研、創(chuàng)領(lǐng)域的核心技術(shù)專家的技術(shù)分享和學(xué)習(xí)內(nèi)容，使創(chuàng)新成為持續(xù)的核心競爭力。

將門創(chuàng)投基金專注于投資通過技術(shù)創(chuàng)新激活商業(yè)場景，實(shí)現(xiàn)商業(yè)價(jià)值的初創(chuàng)企業(yè)，關(guān)注技術(shù)領(lǐng)域包括機(jī)器智能、物聯(lián)網(wǎng)、自然人機(jī)交互、企業(yè)計(jì)算。在近四年的時(shí)間里，將門創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長潛力的技術(shù)型創(chuàng)業(yè)公司。