ECCV 2020 | 基于對抗路徑采樣的反事實視覺語言導(dǎo)航
一、方法架構(gòu)
本文的核心——模型未知的對抗路徑采樣器顯示如下,首先APS從路徑集P中采樣出一批路徑、并利用Speaker來得到復(fù)現(xiàn)的指令I(lǐng)。
對抗采樣器APS的學(xué)習(xí)架構(gòu),其中Speaker表示用于生成導(dǎo)航指令的反向翻譯語言模型,而NAV表示導(dǎo)航模型。
在獲取路徑P和指令I(lǐng)后,模型的目標(biāo)就在于優(yōu)化導(dǎo)航損失函數(shù)。針對APS學(xué)習(xí)采樣的路徑,導(dǎo)航器并不能通過最大化導(dǎo)航損失來得到較好的性能。針對導(dǎo)航損失在導(dǎo)航模型NAV和APS之間會產(chǎn)生對抗的行為,APS不斷采樣出有挑戰(zhàn)性的路徑,同時NAV則嘗試著在APS申請的路徑中進(jìn)行導(dǎo)航完成任務(wù)。通過這種對抗方法,基于P和I生成的對抗增強(qiáng)數(shù)據(jù)將有效提升NAV的導(dǎo)航能力。在實際過程中,Speaker和導(dǎo)航器都通過原始數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練,同時Speaker在對抗訓(xùn)練過程中參數(shù)保持固定。
在本文中,研究人員使用了回歸行為采樣器πAPS來采樣行為序列at(基于場景特征ft),并結(jié)合得到路徑輸出。其中ft表示從環(huán)境中抽取的視覺特征。對于全景輸入圖像來說,ftj表示時間t時從視角j獲取的視覺特征。
對抗采樣器的架構(gòu)模型
模型首先利用LSTM對先前的視覺特征和上一步行為進(jìn)行編碼,而后基于歷史編碼和行為嵌入u來決定此時此刻需要采取的行為。APS模型中包含了一系列可學(xué)習(xí)的權(quán)重,具體可以在原文3.3部分找到詳細(xì)的理論描述。
在通過APS處理后,將得到的一系列導(dǎo)航歷史{at}和視覺特征{ftj}組建成路徑P。為了保持與原始訓(xùn)練數(shù)據(jù)的一致性(其導(dǎo)航路徑都是最短路徑),需要將APS采樣得到的路徑轉(zhuǎn)換為最小路徑。隨后通過Speaker模型為每一條采樣路徑P生成指令I(lǐng),最終將得到增強(qiáng)過的數(shù)據(jù)對(P,I)。隨后通過“學(xué)生強(qiáng)制”的方法基于(P,I)來對導(dǎo)航模型進(jìn)行訓(xùn)練,其中訓(xùn)練損失以可以視為NAV在(P,I)下的性能指標(biāo),損失越高性能越差。為了創(chuàng)造難度不斷增加的路徑來改善導(dǎo)航策略,研究人員將APS損失定義為了與LAN損失相關(guān)的表示:
由于APS與模型無關(guān),它僅僅考慮導(dǎo)航模型訓(xùn)練損失而不關(guān)系模型架構(gòu),所以這種機(jī)制可以被集成到任意的導(dǎo)航模型中去。
下面的算法展示了整個對抗路徑采樣器的訓(xùn)練過程,APS目標(biāo)是最大化導(dǎo)航損失以便創(chuàng)建盡可能困難的路徑,而NAV的目標(biāo)則是最小化導(dǎo)航損失以便進(jìn)行更好的導(dǎo)航。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7月31日免費預(yù)約>> OFweek 2025具身機(jī)器人動力電池技術(shù)應(yīng)用大會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機(jī)器人及智能工廠展
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題