在自動(dòng)駕駛中，點(diǎn)云是一個(gè)非常重要的感知信號(hào)，如激光雷達(dá)（LiDAR）生成的點(diǎn)云，其實(shí)就是三維空間里一堆帶坐標(biāo)、強(qiáng)度和時(shí)間戳的點(diǎn)。單幀點(diǎn)云看起來(lái)像“星星撒一地”，不像圖像那樣有整齊的像素網(wǎng)格，也沒有顏色（除非和相機(jī)融合），更沒有直接的語(yǔ)義標(biāo)記。

機(jī)器要“學(xué)會(huì)”點(diǎn)云里的東西，不僅要解決輸入怎么表示成模型能接受的數(shù)值結(jié)構(gòu)，還要學(xué)習(xí)如何把人類的語(yǔ)義（比如“這是行人”“這是車道”）映射到這些數(shù)值上。

想將點(diǎn)云變成模型能理解的內(nèi)容，就是把無(wú)結(jié)構(gòu)的幾何信息，經(jīng)過清洗、編碼、標(biāo)簽化等一系列流程后，變成有結(jié)構(gòu)的張量和監(jiān)督信號(hào)，然后用合適的網(wǎng)絡(luò)或算法去學(xué)習(xí)這些映射關(guān)系。

如何將點(diǎn)云變成符合模型學(xué)習(xí)的信息？

自動(dòng)駕駛汽車上采集的原始點(diǎn)云并不能直接使用，其會(huì)有孤立噪聲點(diǎn)、有地面反射、有雨雪霧，還有車輛運(yùn)動(dòng)導(dǎo)致的掃描畸變等問題。為了使點(diǎn)云能夠符合模型使用要求，首先要做的就是預(yù)處理，這一步的目標(biāo)是把原始點(diǎn)云規(guī)范化，減少干擾，同時(shí)保留判別性信息。預(yù)處理包括時(shí)間同步和畸變補(bǔ)償（把點(diǎn)按時(shí)間補(bǔ)償?shù)浇y(tǒng)一坐標(biāo)系）、去地面和降噪（去掉地面和平面噪聲以便更好分割物體）、下采樣（用體素化或隨機(jī)采樣減少點(diǎn)數(shù)，讓后續(xù)計(jì)算更可控）等操作。這些操作對(duì)模型訓(xùn)練和推理的穩(wěn)定性至關(guān)重要。

神經(jīng)網(wǎng)絡(luò)其實(shí)更喜歡規(guī)則的張量，而點(diǎn)云卻是無(wú)序的集合，因此要解決點(diǎn)云的“表示”問題。對(duì)此有直接以點(diǎn)集合為輸入，設(shè)計(jì)點(diǎn)級(jí)網(wǎng)絡(luò)；把點(diǎn)云離散到體素格子上，用稀疏卷積；把點(diǎn)云投影成二維圖像（例如鳥瞰圖BEV或視角的range image），用2D卷積；以及使用混合手段，把不同表示結(jié)合起來(lái)等主流做法。不同的方法，會(huì)影響模型的計(jì)算復(fù)雜度、內(nèi)存占用和對(duì)細(xì)節(jié)的保留，如點(diǎn)級(jí)方法保留細(xì)節(jié)好但計(jì)算貴，BEV快且對(duì)規(guī)劃友好但高度信息丟失。

除了空間表示外，還會(huì)從點(diǎn)中提取一些工程特征，每個(gè)點(diǎn)的回波強(qiáng)度、局部密度、法向量估計(jì)、點(diǎn)到最近地面的高度等信息，都可以和坐標(biāo)一起作為網(wǎng)絡(luò)輸入，幫助模型學(xué)到更豐富的幾何線索。

模型如何學(xué)會(huì)點(diǎn)云里面的內(nèi)容？

模型要學(xué)會(huì)“這是什么”和“在哪里”，就得有人先教它。教的方式就是給點(diǎn)云打標(biāo)簽，比如把每個(gè)點(diǎn)標(biāo)上類別（路、車、人），或者用一個(gè)三維的長(zhǎng)方體把車或行人圈起來(lái)，甚至標(biāo)出它們的速度和行走軌跡等。標(biāo)注質(zhì)量將直接決定模型上限，因此半自動(dòng)標(biāo)注工具、投影到圖像做輔標(biāo)、以及合成數(shù)據(jù)等常被用來(lái)進(jìn)行輔助。

在訓(xùn)練模型的時(shí)候，不僅要教會(huì)模型認(rèn)東西，告訴它“這是車/這是人/這是路”；還要教會(huì)它把物體用三維框圈起來(lái)，告訴它框應(yīng)該放在哪兒、多大；更要教會(huì)它判斷框的朝向和框跟真實(shí)物體重合得有多好。

此外，為了讓模型魯棒性更高，還要學(xué)習(xí)一些邊緣場(chǎng)景，可調(diào)整不同類別場(chǎng)景出現(xiàn)的頻率，讓模型不僅看得懂常見的東西，也看得懂更加復(fù)雜的場(chǎng)景。在訓(xùn)練模型時(shí)，可以讓模型對(duì)自己判斷有多少有把握給出一個(gè)定義，這樣系統(tǒng)在用它的結(jié)果時(shí)就知道該信多少。

在訓(xùn)練模型時(shí)，數(shù)據(jù)增強(qiáng)也很重要，所謂數(shù)據(jù)增強(qiáng)，就是把已有數(shù)據(jù)稍微改一改來(lái)增加多樣性�？赏ㄟ^隨機(jī)旋轉(zhuǎn)、放縮、平移點(diǎn)云，故意刪掉部分點(diǎn)、加點(diǎn)噪聲，或者把一個(gè)場(chǎng)景里的真實(shí)物體復(fù)制到另一個(gè)場(chǎng)景里等做法來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)。這樣可以讓模型在應(yīng)對(duì)遮擋、點(diǎn)稀疏或遠(yuǎn)處目標(biāo)的情況時(shí)表現(xiàn)得更加出色。

最近流行的還有自監(jiān)督或?qū)Ρ葘W(xué)習(xí)，即先讓模型在大量沒標(biāo)簽的點(diǎn)云上學(xué)會(huì)“看懂形狀和結(jié)構(gòu)”的能力，然后只用很少的人工標(biāo)簽微調(diào)，就能達(dá)到不錯(cuò)的效果，這樣做能大幅減少人工標(biāo)注的工作量。

模型訓(xùn)練后如何部署？

訓(xùn)練出模型只是第一步，但想把模型安全地用在車上還有很多工作要做。首先要有嚴(yán)格的評(píng)估指標(biāo)，用來(lái)衡量模型在檢測(cè)、分割和跟蹤上的表現(xiàn)。檢測(cè)任務(wù)常用平均精度（mAP）和3D框的重合度來(lái)評(píng)價(jià)，分割任務(wù)常用mIoU。這些指標(biāo)可以幫助我們比較不同模型和不同訓(xùn)練配置的優(yōu)劣，但僅有離線指標(biāo)還不夠，還要在更接近真實(shí)的場(chǎng)景里做場(chǎng)景覆蓋測(cè)試和壓力測(cè)試，保證模型在稀有或極端情形下的表現(xiàn)可接受。

部署階段需要把訓(xùn)練好的模型做壓縮和優(yōu)化，以滿足車端的算力和延遲約束，可通過模型剪枝、權(quán)重量化、使用稀疏運(yùn)算庫(kù)等方式來(lái)達(dá)到這一要求。當(dāng)然，一定要保證在壓縮和優(yōu)化的同時(shí)保證推理時(shí)的精度降損可控。部署之后還要做A/B測(cè)試和在線回歸監(jiān)測(cè)，持續(xù)觀察模型在真實(shí)道路上的表現(xiàn)，如果出現(xiàn)退化或異常，需要能快速回滾到上一個(gè)穩(wěn)定版本。

練時(shí)的數(shù)據(jù)環(huán)境（傳感器類型、安裝高度、城市布局）和模型實(shí)際運(yùn)行的環(huán)境可能有差別。為了減少這種差別帶來(lái)的性能下降，要做域自適應(yīng)、數(shù)據(jù)擴(kuò)充或周期性的在線微調(diào)。對(duì)于長(zhǎng)期運(yùn)行的車隊(duì)，還要建立數(shù)據(jù)閉環(huán)，把線上采集到的異常場(chǎng)景回傳、做標(biāo)注并周期性重訓(xùn)練，從而持續(xù)提升模型對(duì)現(xiàn)實(shí)世界的適應(yīng)能力。

最后的話

想把點(diǎn)云變成模型能學(xué)的東西，應(yīng)先把點(diǎn)云清洗和規(guī)整成模型可以處理的形式，再把人類的語(yǔ)義用標(biāo)簽和訓(xùn)練目標(biāo)教給模型，通過合理的表示、增強(qiáng)和訓(xùn)練策略讓模型學(xué)會(huì)識(shí)別類別、定位物體并估計(jì)不確定性。把這些能力工程化后，配合持續(xù)的數(shù)據(jù)閉環(huán)和安全機(jī)制，自動(dòng)駕駛車輛才能使用點(diǎn)云數(shù)據(jù)在復(fù)雜的真實(shí)世界里安全、可靠地運(yùn)行。

-- END --

       原文標(biāo)題 : 自動(dòng)駕駛模型是如何“看”懂點(diǎn)云信息的？