現(xiàn)實(shí)世界的機(jī)器人任務(wù)需要一個(gè)可靠且快速運(yùn)行的系統(tǒng)。PI 開(kāi)發(fā)了一種名為 Recap（基于優(yōu)勢(shì)條件策略的經(jīng)驗(yàn)與糾正強(qiáng)化學(xué)習(xí)）的方法，它實(shí)現(xiàn)了三個(gè)步驟：

1. 通過(guò)演示訓(xùn)練和糾正指導(dǎo)機(jī)器人，使其能夠從自主經(jīng)驗(yàn)中改進(jìn)。

2. 使用 Recap 改進(jìn)了最新版本的視覺(jué)-語(yǔ)言-動(dòng)作 (VLA) 模型 π 0.6 ，使其能高效地執(zhí)行例如制作意式濃縮咖啡、組裝盒子和折疊各種衣物等復(fù)雜任務(wù)。

3. 利用 Recap 對(duì) π * 0.6 進(jìn)行自主經(jīng)驗(yàn)訓(xùn)練，可以使一些最困難任務(wù)的吞吐量提高一倍以上，并將故障率降低 2 倍或更多。

這使得 π * 0.6 能夠達(dá)到實(shí)際應(yīng)用所需的魯棒性水平。它能夠連續(xù)一整天制作意式濃縮咖啡，在新家中連續(xù)數(shù)小時(shí)不間斷地折疊新衣物，以及組裝工廠中用于實(shí)際包裝的紙箱。

模仿學(xué)習(xí)還不夠

為什么僅靠模仿學(xué)習(xí)訓(xùn)練的虛擬邏輯自動(dòng)化（VLA）難以持續(xù)取得成功，而監(jiān)督學(xué)習(xí)對(duì)邏輯邏輯模型（LLM）和其他機(jī)器學(xué)習(xí)系統(tǒng)卻如此有效？

由于機(jī)器人是在與真實(shí)的物理環(huán)境交互，像放錯(cuò)位置等小錯(cuò)誤會(huì)產(chǎn)生與訓(xùn)練數(shù)據(jù)中略有不同的情況。在訓(xùn)練數(shù)據(jù)中，機(jī)器人更有可能犯下更大的錯(cuò)誤，從而導(dǎo)致誤差累積。

小錯(cuò)誤可以糾正，但累積誤差會(huì)導(dǎo)致失敗。對(duì)于產(chǎn)生靜態(tài)輸出的人工智能系統(tǒng)（例如 LLM）來(lái)說(shuō)，這并不是一個(gè)大問(wèn)題。但實(shí)際上，這意味著 VLA 不能可靠地成功完成任務(wù)。

如果利用 VLA 自身行為的額外數(shù)據(jù)，就能解決這個(gè)問(wèn)題�？梢酝ㄟ^(guò)訓(xùn)練 VLA 來(lái)糾正它在現(xiàn)實(shí)世界中實(shí)際犯的錯(cuò)誤，累積性錯(cuò)誤可以通過(guò)讓策略（即 VLA）反復(fù)練習(xí)來(lái)解決。

指導(dǎo)糾正，練習(xí)強(qiáng)化

Recap 提供了兩種從經(jīng)驗(yàn)數(shù)據(jù)中獲取良好訓(xùn)練信號(hào)的方法：

1. 指導(dǎo)以提供糾正，即專家向機(jī)器人展示如何糾正錯(cuò)誤或做得更好；

2. 強(qiáng)化學(xué)習(xí)，即機(jī)器人根據(jù)一個(gè)回合的總體結(jié)果自行判斷哪些行為更好或更差，并迭代地學(xué)習(xí)執(zhí)行好的行為，同時(shí)避免壞的行為。

為了使指導(dǎo)有效，專家級(jí)遠(yuǎn)程操作員需要提供糾正措施，指導(dǎo)機(jī)器人如何從實(shí)際操作中犯的錯(cuò)誤中恢復(fù)。這這種干預(yù)針對(duì)的是策略實(shí)際應(yīng)用到機(jī)器人所處的場(chǎng)景，從而解決了錯(cuò)誤累積的問(wèn)題。

然而，僅僅靠糾正是遠(yuǎn)遠(yuǎn)不夠的。糾正措施的監(jiān)督質(zhì)量取決于人能否準(zhǔn)確把握干預(yù)時(shí)機(jī)并真正提供高質(zhì)量的糾正。要快速、可靠且始終如一地完成任務(wù)，機(jī)器人需要自主學(xué)習(xí)。

核心挑戰(zhàn)在于功勞分配——理解機(jī)器人執(zhí)行的哪些動(dòng)作導(dǎo)致了良好的結(jié)果，哪些動(dòng)作導(dǎo)致了不良的結(jié)果。

獎(jiǎng)勵(lì)分配是強(qiáng)化學(xué)習(xí)中的一個(gè)關(guān)鍵挑戰(zhàn)，Recap 能夠預(yù)測(cè)特定情況相對(duì)于其他情況的優(yōu)劣

例如，在國(guó)際象棋這樣的游戲中，智能體獲勝后會(huì)獲得獎(jiǎng)勵(lì)，價(jià)值函數(shù)會(huì)根據(jù)當(dāng)前的棋盤(pán)狀態(tài)預(yù)測(cè)智能體獲勝的概率。如果能夠從機(jī)器人的經(jīng)驗(yàn)中學(xué)習(xí)價(jià)值函數(shù)，就可以通過(guò)觀察價(jià)值函數(shù)的變化來(lái)判斷哪些行為是好是壞。

下圖展示了在執(zhí)行“折疊衣物”過(guò)程中，價(jià)值函數(shù)所做的預(yù)測(cè)：

在執(zhí)行時(shí)，只需指示經(jīng)過(guò)優(yōu)勢(shì)調(diào)整的 VLA 執(zhí)行優(yōu)勢(shì)較高的動(dòng)作，從而得到一個(gè)比訓(xùn)練數(shù)據(jù)更優(yōu)的策略。

實(shí)際任務(wù)

團(tuán)隊(duì)研究了三個(gè)應(yīng)用場(chǎng)景：制作意式濃縮咖啡、折疊各種衣物以及組裝包裝盒。

Recap 的第一階段是使用離線強(qiáng)化學(xué)習(xí) (RL) 對(duì) π * 0.6 模型進(jìn)行預(yù)訓(xùn)練和微調(diào)，然后使用從機(jī)器人收集的額外數(shù)據(jù)，通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)一步訓(xùn)練該模型。

值得注意的是，在一些難度較高的任務(wù)上，例如制作意式濃縮咖啡，我們看到了最大的改進(jìn)，這些任務(wù)的吞吐量和成功率在加入機(jī)器人實(shí)際操作經(jīng)驗(yàn)后都提高了一倍以上。

從定性角度來(lái)看，最終的 π * 0.6 模型在學(xué)習(xí)了演示數(shù)據(jù)和機(jī)器人實(shí)戰(zhàn)經(jīng)驗(yàn)后，能夠熟練掌握各項(xiàng)應(yīng)用。

每項(xiàng)任務(wù)都面臨諸多挑戰(zhàn)，使得高吞吐量的自主執(zhí)行困難重重。即使對(duì)于目前最好的 VLA 模型來(lái)說(shuō)，這些階段中的每一個(gè)階段都是具有挑戰(zhàn)性的，而 π * 0.6 可以以超過(guò) 90% 的成功率完成這些階段。

相關(guān)人員表示，專家提供的演示用于定義新的行為，輔導(dǎo)用于完善策略，而自主經(jīng)驗(yàn)用于完善行為，最終或許能夠使機(jī)器人達(dá)到超越人類的性能水平。

參考資料：

https://www.pi.website/blog/pistar06#where-are-we-headed