在談及自動(dòng)駕駛感知系統(tǒng)時(shí)，經(jīng)常會(huì)看到一個(gè)專業(yè)詞匯，那便是“點(diǎn)云”。作為連接物理現(xiàn)實(shí)與數(shù)字世界的橋梁，它賦予機(jī)器一種超越人類視覺(jué)的深度感知能力，讓車輛得以精確地“理解”自身在環(huán)境中的位置與周遭物體的真實(shí)形態(tài)。今天智駕最前沿就帶大家深度了解下“點(diǎn)云”的含義。

什么是點(diǎn)云？

點(diǎn)云，簡(jiǎn)單來(lái)說(shuō)，就是用數(shù)字記錄三維空間中每個(gè)點(diǎn)的位置。在空間坐標(biāo)中，每個(gè)點(diǎn)都可以用x、y、z三個(gè)坐標(biāo)值表示，有些還會(huì)附帶反射強(qiáng)度或時(shí)間戳等信息。把一個(gè)場(chǎng)景中所有這樣的點(diǎn)集合在一起，就形成了點(diǎn)云。

激光雷達(dá)點(diǎn)云圖（右側(cè)），圖片源自：網(wǎng)絡(luò)

如上圖所示，就是激光雷達(dá)生成的點(diǎn)云圖，里面是由無(wú)數(shù)個(gè)小點(diǎn)“勾勒”出的街道、路口及車輛的輪廓，這些點(diǎn)能還原物體的形狀、距離和空間關(guān)系，從而讓自動(dòng)駕駛汽車獲得更多的交通信息。與照片的像素網(wǎng)格不同，點(diǎn)云是稀疏或密集分布在三維空間中的獨(dú)立點(diǎn)集合，它能直接表達(dá)三維結(jié)構(gòu)，比二維圖像更直觀地反映物體在空間中的實(shí)際位置。

哪些傳感器會(huì)產(chǎn)生點(diǎn)云

在自動(dòng)駕駛中，多個(gè)傳感器可以生成點(diǎn)云數(shù)據(jù)。激光雷達(dá)作為最核心的采集設(shè)備，通過(guò)發(fā)射激光束并精確測(cè)量其返回時(shí)間來(lái)計(jì)算距離，結(jié)合精密的掃描控制，能實(shí)時(shí)生成富含三維坐標(biāo)和反射強(qiáng)度信息的密集點(diǎn)云。

激光雷達(dá)，圖片源自：網(wǎng)絡(luò)

立體視覺(jué)系統(tǒng)則模仿人類雙眼視差原理，利用多攝像頭從不同角度拍攝同一場(chǎng)景，通過(guò)計(jì)算像素位置差異來(lái)推算深度，最終將二維圖像轉(zhuǎn)換為三維點(diǎn)云。這種方法在紋理豐富區(qū)域效果良好，但在特征缺失的平坦區(qū)域或遠(yuǎn)距離場(chǎng)景中精度會(huì)明顯下降。

基于飛行時(shí)間深度相機(jī)可以通過(guò)直接測(cè)量光脈沖的往返時(shí)間為每個(gè)像素計(jì)算深度值，也能快速生成點(diǎn)云，但其有效感知距離較短，多用于近場(chǎng)環(huán)境感知。

毫米波雷達(dá)則通過(guò)分析無(wú)線電波反射來(lái)探測(cè)目標(biāo)，提供距離、速度及角度信息，雖然生成的數(shù)據(jù)點(diǎn)稀疏且角度分辨率有限，卻在惡劣天氣下表現(xiàn)穩(wěn)定，常被用作特殊的“稀疏點(diǎn)云”參與目標(biāo)跟蹤和融合感知。

這些傳感器因工作原理各異，所生成的點(diǎn)云在密度、噪聲水平和信息維度上存在顯著差異，這會(huì)直接影響它們?cè)谙到y(tǒng)中的具體應(yīng)用場(chǎng)景及后續(xù)的數(shù)據(jù)處理策略。

點(diǎn)云能做什么

既然這么多傳感器都可以生成點(diǎn)云，那點(diǎn)云到底能給自動(dòng)駕駛做點(diǎn)啥？對(duì)于自動(dòng)駕駛汽車來(lái)說(shuō)，點(diǎn)云最主要的作用就是三維感知。與二維圖像相比，點(diǎn)云能直接提供物體的距離、高度和大致形狀，這對(duì)于判斷障礙物、識(shí)別路緣、檢測(cè)行人和車輛姿態(tài)至關(guān)重要。點(diǎn)云常用于目標(biāo)檢測(cè)與跟蹤，算法直接在三維空間中輸出三維邊界框，能更精確地估計(jì)距離和尺寸，從而提高定位和避障決策的可靠性。

點(diǎn)云還有一個(gè)作用就是建圖與定位，通過(guò)對(duì)齊連續(xù)幀的點(diǎn)云（即點(diǎn)云配準(zhǔn)），車輛可以在沒(méi)有高精地圖或GPS信號(hào)受干擾時(shí)，實(shí)現(xiàn)基于點(diǎn)云的定位（例如通過(guò)掃描匹配或基于特征的定位），這是很多自動(dòng)駕駛系統(tǒng)的冗余定位方案。

圖片源自：網(wǎng)絡(luò)

點(diǎn)云還為自動(dòng)駕駛系統(tǒng)提供了深層次的環(huán)境理解能力。通過(guò)對(duì)點(diǎn)云進(jìn)行語(yǔ)義分割，系統(tǒng)能夠精確區(qū)分道路、隔離帶、路燈和人行道等關(guān)鍵交通要素，這不僅實(shí)現(xiàn)了對(duì)場(chǎng)景的結(jié)構(gòu)化理解，更為路徑規(guī)劃提供了重要的語(yǔ)義約束，確保車輛行為符合交通規(guī)則和場(chǎng)景特性。

除此之外，點(diǎn)云還為規(guī)劃與控制模塊提供可靠的三維幾何信息，與依賴二維投影的方案相比，點(diǎn)云直接呈現(xiàn)了空間的高程變化和幾何特征，使車輛能夠準(zhǔn)確感知坡度、路緣高度等關(guān)鍵參數(shù)，借助這些數(shù)據(jù)，在路徑規(guī)劃時(shí)可以充分考慮實(shí)際地形因素，顯著提升了決策的準(zhǔn)確性和安全性。

點(diǎn)云處理的常見(jiàn)流程與算法要點(diǎn)

點(diǎn)云數(shù)據(jù)在生成后并不是直接就能使用的，從原始點(diǎn)云到可用的三維感知結(jié)果，需要經(jīng)過(guò)一系列處理步驟。第一步是要進(jìn)行預(yù)處理，預(yù)處理階段先要進(jìn)行噪聲過(guò)濾，消除因空氣中的塵埃、雨霧或傳感器自身誤差造成的異常數(shù)據(jù)點(diǎn)，確保基礎(chǔ)數(shù)據(jù)的純凈度。然后就是要實(shí)施數(shù)據(jù)精簡(jiǎn)，通過(guò)體素下采樣方法在保留場(chǎng)景主要幾何特征的前提下，降低數(shù)據(jù)總量，提升后續(xù)處理效率。預(yù)處理的最后一個(gè)步驟是要完成坐標(biāo)統(tǒng)一，將來(lái)自不同傳感器的點(diǎn)云數(shù)據(jù)經(jīng)過(guò)時(shí)間同步和坐標(biāo)變換，全部轉(zhuǎn)換到統(tǒng)一的車輛或世界坐標(biāo)系中，為后續(xù)的障礙物檢測(cè)、環(huán)境感知等高級(jí)處理任務(wù)奠定基礎(chǔ)。

預(yù)處理完整后要做的是進(jìn)行地面分割和地平面擬合，將道路表面剔除或標(biāo)記出來(lái)，便于分離出行人、車輛等非地面物體。分割之后是聚類與候選生成，通過(guò)歐氏聚類或基于語(yǔ)義的分割提取單個(gè)物體的點(diǎn)集，再為每個(gè)聚類擬合三維邊界框。

對(duì)于點(diǎn)云數(shù)據(jù)的處理，有兩種常見(jiàn)路線，一種是以PointNet/PointNet++為代表的點(diǎn)基方法，直接對(duì)原始點(diǎn)云數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，充分保留了每個(gè)點(diǎn)的三維坐標(biāo)信息；還有一種是將不規(guī)則的點(diǎn)云轉(zhuǎn)換為規(guī)整的體素網(wǎng)格或鳥(niǎo)瞰圖等結(jié)構(gòu)化表示，再利用成熟的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。這兩種方案各有優(yōu)勢(shì)，點(diǎn)基方法精度更高，而網(wǎng)格化方法計(jì)算效率更優(yōu)。

在獲得檢測(cè)結(jié)果后，系統(tǒng)需要通過(guò)目標(biāo)跟蹤技術(shù)將不同時(shí)刻檢測(cè)到的物體關(guān)聯(lián)起來(lái)，形成連續(xù)的運(yùn)動(dòng)軌跡。這一過(guò)程可采用卡爾曼濾波等算法，通過(guò)建立運(yùn)動(dòng)模型來(lái)預(yù)測(cè)和更新目標(biāo)位置。同時(shí)，為了融合多幀點(diǎn)云數(shù)據(jù)或不同傳感器的點(diǎn)云，還需要進(jìn)行點(diǎn)云配準(zhǔn)操作。常用的配準(zhǔn)方法有迭代最近點(diǎn)算法和基于特征的匹配方法，這些技術(shù)能夠有效解決點(diǎn)云之間的空間對(duì)齊問(wèn)題。

點(diǎn)云的局限與挑戰(zhàn)

雖然點(diǎn)云可以提供直接的三維信息，但它也存在一些局限。點(diǎn)云密度會(huì)隨距離、角度和傳感器分辨率快速下降，遠(yuǎn)處和低反射率區(qū)域點(diǎn)云稀少，就會(huì)導(dǎo)致遠(yuǎn)距離小目標(biāo)檢測(cè)性能下降。

圖片源自：網(wǎng)絡(luò)

像是在雨、雪、霧、塵埃等異常天氣下，還會(huì)產(chǎn)生虛假回波或吸收激光，降低LiDAR的有效點(diǎn)數(shù)；同樣，立體視覺(jué)在低光照或反光表面上的深度估計(jì)效果也會(huì)變差。不同材料對(duì)激光的反射率差異也很大，某些暗色或吸光材料幾乎不產(chǎn)生回波。

此外，點(diǎn)云數(shù)據(jù)量大、計(jì)算密集，實(shí)時(shí)處理需要高效算法和專用硬件加速（如GPU、稀疏卷積加速器等）。點(diǎn)云的標(biāo)注也比圖像更耗時(shí)費(fèi)力，三維標(biāo)注工具和一致性要求更復(fù)雜，這將影響訓(xùn)練數(shù)據(jù)的規(guī)模。

若不同傳感器之間的時(shí)間同步與空間標(biāo)定存在誤差，更會(huì)直接導(dǎo)致點(diǎn)云數(shù)據(jù)在融合時(shí)產(chǎn)生系統(tǒng)性偏差。在時(shí)間維度上，即便是毫秒級(jí)的時(shí)間差，也會(huì)因?yàn)檐囕v和物體的快速運(yùn)動(dòng)，導(dǎo)致同一目標(biāo)在不同傳感器中的空間位置無(wú)法精確對(duì)應(yīng)；在空間維度上，外參標(biāo)定的微小角度誤差會(huì)隨著距離增加而放大，使來(lái)自激光雷達(dá)、相機(jī)等不同傳感器的數(shù)據(jù)在空間上無(wú)法嚴(yán)絲合縫地對(duì)齊。

最后的話

點(diǎn)云的作用就是將三維空間中的幾何信息直接提供給自動(dòng)駕駛系統(tǒng)，讓車輛能夠感知距離、形狀和空間關(guān)系，這是自動(dòng)駕駛不可或缺的感知基礎(chǔ)。但點(diǎn)云存在稀疏性、對(duì)天氣敏感、依賴材料反射率等局限。因此，想讓自動(dòng)駕駛系統(tǒng)獲得更好地感知效果，并不能僅依賴點(diǎn)云，而是要將其與相機(jī)、雷達(dá)等傳感器信息相結(jié)合，通過(guò)合適的表示方式和高效算法，充分發(fā)揮點(diǎn)云的優(yōu)勢(shì)，同時(shí)用其他傳感器彌補(bǔ)其短板。

-- END --

       原文標(biāo)題 : 一文講透自動(dòng)駕駛中的“點(diǎn)云”