軌跡預(yù)測(cè)一直是自動(dòng)駕駛中的重點(diǎn)，它可以讓自動(dòng)駕駛汽車對(duì)未來的工作提前謀劃。所謂軌跡預(yù)測(cè)，簡(jiǎn)單理解就是自動(dòng)駕駛系統(tǒng)對(duì)道路上那些會(huì)動(dòng)的對(duì)象（其他車輛、行人、自行車、摩托車等）未來一段時(shí)間內(nèi)可能走什么路線、到什么位置、以什么樣的速度/方向移動(dòng)的一種“預(yù)測(cè)”。

比起這些對(duì)象當(dāng)前在什么位置、朝哪個(gè)方向走，軌跡預(yù)測(cè)多了對(duì)未來的判斷，其不僅可以確定“現(xiàn)在在哪里”，還要猜測(cè)“接下來可能去哪兒”、以及“可能怎么行動(dòng)”。這是自動(dòng)駕駛系統(tǒng)在感知（看到周圍）之后與規(guī)劃和控制（決定自己車下一步怎么走）之前的一個(gè)關(guān)鍵動(dòng)作。

軌跡預(yù)測(cè)并不是簡(jiǎn)單識(shí)別或檢測(cè)別車／行人，而是要推斷未來。這一點(diǎn)和人類司機(jī)做判斷很像，當(dāng)你開車時(shí)，不只是看前面有沒有車，也會(huì)判斷那輛車是不是可能突然變道／加速／減速／轉(zhuǎn)彎。自動(dòng)駕駛所做的，是把這種判斷轉(zhuǎn)成算法，讓機(jī)器也能提前預(yù)估可能發(fā)生的情況。

為什么自動(dòng)駕駛系統(tǒng)需要“軌跡預(yù)測(cè)”

真實(shí)的道路情況瞬息萬變，別的車可能突然變道、有人可能橫穿馬路、有行人或騎車人可能忽然加速或減速。想要安全駕駛，只是知道“他們現(xiàn)在在哪里、速度是多少”是完全不夠的。如果系統(tǒng)只是被動(dòng)反應(yīng)，就容易出問題，尤其當(dāng)速度較高、道路復(fù)雜的時(shí)候，沒有預(yù)測(cè)，車輛就只是橫沖直撞，非常危險(xiǎn)。

軌跡預(yù)測(cè)的作用，就是讓自動(dòng)駕駛系統(tǒng)對(duì)周圍交通參與者未來可能的動(dòng)作有一個(gè)大致預(yù)判。這樣自動(dòng)駕駛系統(tǒng)就能在做路徑規(guī)劃和操控之前，考慮到這些不確定性，預(yù)留安全距離、調(diào)整速度、選擇合適方案。

舉個(gè)例子，當(dāng)另一輛車突然變道到自動(dòng)駕駛汽車的車道上，自動(dòng)駕駛系統(tǒng)通過軌跡預(yù)測(cè)，就能判斷是否要提前減速、變道避讓，以避免事故發(fā)生。又或者行人可能從路邊走出來，自動(dòng)駕駛系統(tǒng)預(yù)測(cè)到可能會(huì)穿過馬路，這時(shí)自動(dòng)駕駛系統(tǒng)就會(huì)提前做好剎車或繞行準(zhǔn)備。

也就是說，軌跡預(yù)測(cè)提升了自動(dòng)駕駛的“前瞻性”和“主動(dòng)安全”能力。感知模塊只負(fù)責(zé)看見現(xiàn)在／剛剛發(fā)生的事；而預(yù)測(cè)模塊負(fù)責(zé)想象未來可能發(fā)生的事，然后把這個(gè)想象交給決策／規(guī)劃模塊，讓車輛提前做出安全、合理的動(dòng)作。

如何實(shí)現(xiàn)軌跡預(yù)測(cè)？

軌跡預(yù)測(cè)要做的就是把“現(xiàn)在看見的東西”變成“對(duì)未來幾秒鐘的合理猜測(cè)”。要做到這件事，模型離不開三類關(guān)鍵信息的輸入，也會(huì)輸出不同形式的預(yù)測(cè)結(jié)果，實(shí)現(xiàn)的方法也各有優(yōu)劣。

1）輸入的是什么？

靜態(tài)環(huán)境/地圖信息：靜態(tài)環(huán)境/地圖信息包括如車道線、交叉口、車道形狀、道路結(jié)構(gòu)、禁行區(qū)、轉(zhuǎn)彎區(qū)、紅綠燈、交通標(biāo)志等信息。也包括高精地圖(HDmap)或簡(jiǎn)化版本地圖中對(duì)道路空間結(jié)構(gòu)的描述。

動(dòng)態(tài)對(duì)象當(dāng)前及過去的狀態(tài)：動(dòng)態(tài)對(duì)象當(dāng)前及過去的狀態(tài)就是周圍車輛、行人等的當(dāng)前位置、速度、航向、過去一段時(shí)間的軌跡／運(yùn)動(dòng)歷史。因?yàn)閷?duì)象過去怎么走、速度方向是多少，對(duì)預(yù)測(cè)未來很關(guān)鍵。

交通參與者之間的交互關(guān)系：不同車輛、行人與它們之間的相互影響，一輛車的行為可能受到旁邊車、前車、后車，乃至道路標(biāo)志、信號(hào)燈、行人、騎車人的影響。為了更好地實(shí)現(xiàn)預(yù)測(cè)，這些交互也會(huì)作為輸入特征來考慮。

2）輸出的是什么？

軌跡預(yù)測(cè)的輸出，一般是未來一段時(shí)間內(nèi)（通常幾秒到5 s～6 s不等，具體視系統(tǒng)設(shè)計(jì)而定）的軌跡，其中包括未來每個(gè)時(shí)刻該對(duì)象可能的位置、速度、方向。也可能包括多個(gè)可能性。

因?yàn)槲磥聿淮_定，一個(gè)對(duì)象可能有幾種行為（直走、變道、減速、急剎、轉(zhuǎn)彎……），所以預(yù)測(cè)結(jié)果不會(huì)是單一軌跡，而是多種可能軌跡+各種可能性的概率／置信度（即多模態(tài)預(yù)測(cè)）。

有時(shí)候自動(dòng)駕駛系統(tǒng)只需要知道未來終點(diǎn)大致在哪、什么時(shí)候到達(dá)，但有時(shí)會(huì)需要完整的時(shí)間序列軌跡。帶概率的多模態(tài)輸出能讓后續(xù)的規(guī)劃模塊在面對(duì)多種可能時(shí)做出更穩(wěn)妥的決策。

3）常見的技術(shù)路線/方法

在早期想實(shí)現(xiàn)軌跡預(yù)測(cè)，可以用比較簡(jiǎn)單的物理模型+運(yùn)動(dòng)學(xué)/動(dòng)力學(xué)模型+假設(shè)方法，該方法是通過假設(shè)車輛目前速度、加速度、車輛動(dòng)力限制等信息，基于物理運(yùn)動(dòng)模型去預(yù)測(cè)短期軌跡。但這種方法對(duì)復(fù)雜場(chǎng)景（變道、剎車、跟車、群體交互、行人穿行等）適應(yīng)性較差。

近年來，更常用的是數(shù)據(jù)驅(qū)動(dòng)(data-driven)或機(jī)器學(xué)習(xí)/深度學(xué)習(xí)方法。自動(dòng)駕駛系統(tǒng)通過大量真實(shí)交通數(shù)據(jù)訓(xùn)練模型，把歷史軌跡+環(huán)境信息當(dāng)輸入，讓模型學(xué)會(huì)在類似情形下的行為模式，然后預(yù)測(cè)未來軌跡。

有些模型會(huì)把所有附近車輛／行人當(dāng)作“節(jié)點(diǎn)”，構(gòu)建圖(graph)表示它們之間可能的相互作用關(guān)系(誰可能影響誰)；然后通過圖神經(jīng)網(wǎng)絡(luò)(graphneuralnetwork)+編碼器—解碼器(encoder-decoder)／循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN/LSTM)／Transformer等結(jié)構(gòu)，對(duì)未來軌跡進(jìn)行預(yù)測(cè)。還有一些模型會(huì)將道路結(jié)構(gòu)、車道線、交通規(guī)則、環(huán)境語義等靜態(tài)信息融合進(jìn)來，讓預(yù)測(cè)更符合規(guī)則。

自動(dòng)駕駛系統(tǒng)中的軌跡預(yù)測(cè)，是一個(gè)感知+學(xué)習(xí)+推斷+環(huán)境約束結(jié)合的復(fù)雜流程，而不僅是按當(dāng)前速度+前進(jìn)方向直線推算。

軌跡預(yù)測(cè)模塊在自動(dòng)駕駛架構(gòu)中的位置與作用

自動(dòng)駕駛系統(tǒng)可以分成感知(perception)→預(yù)測(cè)(prediction)→規(guī)劃/決策(planning&decision)→控制(control/actuation)幾個(gè)模塊。軌跡預(yù)測(cè)正位于感知與規(guī)劃之間，是連接兩者的重要橋梁。

感知模塊負(fù)責(zé)識(shí)別周圍靜態(tài)環(huán)境(道路、車道線、建筑、行人、交通標(biāo)志)和動(dòng)態(tài)對(duì)象(其他車輛、行人、自行車等)，告訴系統(tǒng)“現(xiàn)在都有哪些東西，它們?cè)谀睦�、速度怎樣、朝哪�?rdquo;。

預(yù)測(cè)模塊接手這些信息，對(duì)每個(gè)動(dòng)態(tài)對(duì)象未來可能的走向做估計(jì)，預(yù)測(cè)軌跡、行為意圖(如變道、減速、轉(zhuǎn)彎、掉頭、停車、橫穿道路等)，并輸出未來幾秒鐘內(nèi)各對(duì)象可能的位置/速度/軌跡分布。

規(guī)劃/決策模塊拿到這些預(yù)測(cè)結(jié)果后，考慮自己的車輛應(yīng)該怎么走：是否要減速、變道、剎車、繞行、停車、讓行……并生成給車輛的決策/行駛方案。

控制模塊根據(jù)規(guī)劃結(jié)果，通過轉(zhuǎn)向、加減速、制動(dòng)等動(dòng)作執(zhí)行具體的控制。

沒有預(yù)測(cè)模塊，即便感知非常精確，車輛也只能被動(dòng)反應(yīng)，只能根據(jù)現(xiàn)在看到的情況反應(yīng)。這種方式在簡(jiǎn)單場(chǎng)景或低速情況下可能還行，但在高速、復(fù)雜、多目標(biāo)、多變場(chǎng)景(城市道路、交叉口、高速公路、行人密集區(qū)、混合交通)下，很容易出現(xiàn)判斷滯后、反應(yīng)過慢、避讓不及時(shí)、剎車過硬或過急等問題，嚴(yán)重影響安全和舒適。

因此，軌跡預(yù)測(cè)是自動(dòng)駕駛系統(tǒng)的“安全預(yù)判機(jī)制”，它讓車輛提前知道可能發(fā)生什么，從而預(yù)留空間/時(shí)間/方案，為后續(xù)規(guī)劃和控制提供更可靠的輸入。

軌跡預(yù)測(cè)的局限

軌跡預(yù)測(cè)對(duì)于自動(dòng)駕駛來說非常重要，但想要做到既準(zhǔn)確、可靠，又能實(shí)時(shí)運(yùn)行的預(yù)測(cè)，會(huì)面對(duì)非常多的問題。

1）多智能體/多對(duì)象交互復(fù)雜

道路上有汽車、自行車、行人、摩托車等很多的交通參與者，他們之間會(huì)相互影響。一個(gè)人的動(dòng)作可能影響另一輛車的行為，行人與車可能發(fā)生互動(dòng)，自行車可能突然并道……這種多智能體(multi-agent)交互關(guān)系復(fù)雜且難建模。一個(gè)簡(jiǎn)單的直線預(yù)測(cè)顯然不夠。數(shù)據(jù)驅(qū)動(dòng)模型雖然試圖通過圖模型/神經(jīng)網(wǎng)絡(luò)捕捉這些關(guān)系，但要保證對(duì)所有復(fù)雜場(chǎng)景都適用，依舊非常困難。

2）行為多樣性／不確定性(多模態(tài)問題)

同一個(gè)交通參與者，在不同時(shí)間、情境可能做完全不同的動(dòng)作。如一輛車可能繼續(xù)保持當(dāng)前車道直行，也可能變道，也可能減速或加速。這意味著未來有多個(gè)可能軌跡(multiplepossiblefutures)，而不是唯一確定的一條。預(yù)測(cè)系統(tǒng)如何同時(shí)給出這些可能性，并附上合理概率或置信度，是一個(gè)難題。如果系統(tǒng)只輸出單一軌跡，而實(shí)際對(duì)象走的是另一條，就可能導(dǎo)致碰撞或危險(xiǎn)。

3）靜態(tài)環(huán)境與規(guī)則約束整合困難

道路結(jié)構(gòu)、車道線、交通規(guī)則(誰有優(yōu)先權(quán)、紅綠燈、行人斑馬線、禁行區(qū)、道路狹窄、彎道、坡道…)對(duì)車輛／行人的軌跡有很大的影響。一個(gè)預(yù)測(cè)模型如果忽略這些約束，很可能產(chǎn)生荒謬、不符合規(guī)則的預(yù)測(cè)(比如預(yù)測(cè)行人穿過護(hù)欄/逆行、預(yù)測(cè)車輛穿越建筑物/越線/無視交通規(guī)則等)。因此，只有將環(huán)境/地圖/規(guī)則信息有效融合進(jìn)軌跡預(yù)測(cè)，才能確保預(yù)測(cè)的準(zhǔn)確性與行駛的安全性。

4）實(shí)時(shí)性與算法復(fù)雜性/計(jì)算資源限制

自動(dòng)駕駛必須對(duì)實(shí)時(shí)環(huán)境迅速反應(yīng)。預(yù)測(cè)模塊不能太慢，否則生成的軌跡可能已經(jīng)過時(shí)。但如果想要實(shí)時(shí)預(yù)測(cè)，高復(fù)雜度模型(深度網(wǎng)絡(luò)+多智能體交互+多可能性計(jì)算+地圖融合)又會(huì)需要大量的計(jì)算量。如果實(shí)時(shí)性不夠、計(jì)算資源不夠，或者延遲太高，就不適合實(shí)際部署。如何在追求極致預(yù)測(cè)精度與系統(tǒng)整體響應(yīng)速度之間找到一個(gè)平衡，是非常重要的。

5）評(píng)估與現(xiàn)實(shí)場(chǎng)景差異(“數(shù)據(jù)集vs實(shí)際駕駛環(huán)境”)

很多軌跡預(yù)測(cè)技術(shù)是在固定數(shù)據(jù)集/過去記錄上訓(xùn)練/測(cè)試的，也就是假設(shè)所有對(duì)象行為都會(huì)按歷史軌跡執(zhí)行。但真實(shí)交通場(chǎng)景，自動(dòng)駕駛車輛本身會(huì)因?yàn)轭A(yù)測(cè)結(jié)果/決策/行為而影響周圍人／車的行為。也就是說，真實(shí)世界是互動(dòng)(interactive)的，一個(gè)模型在靜態(tài)數(shù)據(jù)集上的高精度，不一定能在真實(shí)道路上表現(xiàn)良好。這種差異(dynamicsgap)是軌跡預(yù)測(cè)應(yīng)用到自動(dòng)駕駛時(shí)必須特別關(guān)注的問題。

最后的話

隨著自動(dòng)駕駛系統(tǒng)從輔助駕駛(ADAS)向更高級(jí)別(如L3/L4/L5)發(fā)展，對(duì)安全、可靠、全面感知的需求越來越高。在城市復(fù)雜交通、混合交通(汽車+自行車+行人+電動(dòng)車+摩托+行人)情況下，僅靠看到并反應(yīng)遠(yuǎn)遠(yuǎn)不夠。自動(dòng)駕駛系統(tǒng)必須具備預(yù)判能力，能知道別人可能做什么、提前為很多種情況預(yù)留應(yīng)對(duì)方案。軌跡預(yù)測(cè)，就是給自動(dòng)駕駛系統(tǒng)提供了一雙預(yù)見未來的眼睛/大腦。

沒有軌跡預(yù)測(cè)，自動(dòng)駕駛就只能看見現(xiàn)在然后反應(yīng)，容易發(fā)生滯后、剎不住、避不及、判斷失誤；有軌跡預(yù)測(cè)，就可能更安全、平滑，也更像人在駕駛。軌跡預(yù)測(cè)是自動(dòng)駕駛系統(tǒng)邁向真正穩(wěn)健、安全、自主的重要一步。

-- END --

       原文標(biāo)題 : 自動(dòng)駕駛中的軌跡預(yù)測(cè)，到底是預(yù)測(cè)什么？