• 跨物體精準(zhǔn)操控： 從微小零件到厚重書本、細長棍體乃至復(fù)雜幾何結(jié)構(gòu)，系統(tǒng)首次實現(xiàn)了跨類別、跨尺寸、跨姿態(tài)的穩(wěn)定旋轉(zhuǎn)與操控，在通用性與精度上均邁出關(guān)鍵一步。

• 任意姿態(tài)多軸旋轉(zhuǎn)： 無論手掌朝上、朝下還是側(cè)向，均可沿任意軸向?qū)崿F(xiàn)連續(xù)、穩(wěn)定的旋轉(zhuǎn)動作，真正做到“手隨心轉(zhuǎn)”。

• 高靈巧、高魯棒遙操作： 能夠自如完成抓取、旋轉(zhuǎn)、擰動等多類工具操作，從擰螺絲到家具組裝，展現(xiàn)出應(yīng)對長程、復(fù)雜任務(wù)的穩(wěn)定能力。

• 彌合仿真與現(xiàn)實的鴻溝： 在缺乏大規(guī)模成功操作樣本的條件下，系統(tǒng)依然能夠基于偏分布的真實數(shù)據(jù)完成高精度學(xué)習(xí)，有效克服靈巧操作中的 Sim2Real 差距，實現(xiàn)從“實驗室演示”到“真實世界落地”的從0到1突破。

這次破了什么“卡點”？

過去，靈巧手研究經(jīng)常受困于“限定條件”：物體形狀簡單、尺寸受限、手腕姿態(tài)受限。一旦換角度、換抓姿，接觸點與摩擦條件劇變，Sim2Real 就容易崩。

研究團隊提出了一種新穎的模擬到現(xiàn)實框架，用于靈巧的手內(nèi)旋轉(zhuǎn)。該框架基于關(guān)節(jié)神經(jīng)動力學(xué)模型和自主數(shù)據(jù)采集，旨在解決學(xué)習(xí)復(fù)雜交互動力學(xué)和獲取真實世界交互數(shù)據(jù)的核心挑戰(zhàn)。

除此之外，他們還提出了一種手內(nèi)物體旋轉(zhuǎn)策略，該策略在手腕處于復(fù)雜姿態(tài)的情況下，能夠以前所未有的通用性旋轉(zhuǎn)具有挑戰(zhàn)性的物體。

研究團隊的核心思想是通過一個更具泛化性的動力學(xué)模型來分解學(xué)習(xí)問題，從而實現(xiàn)更具可擴展性的數(shù)據(jù)采集策略。

首先，他們讓模型學(xué)習(xí)了一個關(guān)節(jié)級的神經(jīng)動力學(xué)模型。該模型分解了系統(tǒng)，并僅使用每個關(guān)節(jié)自身的本體感覺歷史來預(yù)測其演化。

這種設(shè)計本身不受物體狀態(tài)估計困難的影響，并且減少了無關(guān)變量的變異性，該模型變得非常高效且具有泛化能力。

通過以與任務(wù)無關(guān)的方式對機械手施加隨機載荷，模型能夠在避免故障和人工重置需求的同時采集數(shù)據(jù)。利用低成本且可擴展的數(shù)據(jù)學(xué)習(xí)一個能夠很好地泛化的動力學(xué)模型，然后利用該模型訓(xùn)練一個殘差策略，將基于仿真訓(xùn)練的基礎(chǔ)策略適配到真實世界，從而實現(xiàn)廣泛的泛化能力。

幾乎與全手模型一樣強

模型在 310 萬條模擬軌跡上訓(xùn)練，并在實際環(huán)境中進行評估，其表達能力幾乎與全手模型一樣強。

在數(shù)據(jù)有限的情況下使用 7500 條在真實世界中自主采集的軌跡以及不同大小的真實世界數(shù)據(jù)集，模型的樣本效率更高，在實際環(huán)境中取得了更好的性能。

在 OOD 真實世界測試集（“拇指向上”腕關(guān)節(jié)下的任務(wù)相關(guān)轉(zhuǎn)換）上，模型在高數(shù)據(jù)量和低數(shù)據(jù)量情況下都具有更好的泛化能力。

總而言之，對于數(shù)據(jù)驅(qū)動的神經(jīng)動力學(xué)，在數(shù)據(jù)不足或訓(xùn)練-測試分布偏移的情況下，聯(lián)合模型顯著優(yōu)于整體手模型；在數(shù)據(jù)充足且進行域內(nèi)評估的情況下，兩者的性能相近，聯(lián)合模型的表達能力僅略有下降。

同時，旋轉(zhuǎn)策略使遠程操作系統(tǒng)能夠執(zhí)行復(fù)雜的、長時程的操作任務(wù)。

消融實驗的結(jié)果表明，隨著真實世界數(shù)據(jù)量和收集迭代次數(shù)的增加，模型性能有所提升。

相比之下，全手模型從額外數(shù)據(jù)中獲益甚微，尤其是在自主收集的情況下，這可能是由于其更高的維度以及自主數(shù)據(jù)與旋轉(zhuǎn)任務(wù)轉(zhuǎn)換之間的分布不匹配所致。

雖然該框架能夠旋轉(zhuǎn)復(fù)雜物體，但模型的性能上限受限于部分觀測數(shù)據(jù)。相關(guān)人員表示，未來會利用更豐富的信號聯(lián)合建模手-物體之間的運動轉(zhuǎn)換，以及整合觸覺信息。

參考資料：

https://meowuu7.github.io/DexNDM/static/pdfs/DexNDM.pdf