<small id="qmgw2"></small>

當(dāng)前位置： OFweek 人工智能網(wǎng) > 其他 > 正文

Rock & Roll：阿里打造智能體“實(shí)戰(zhàn)訓(xùn)練場(chǎng)”

2025-12-01 17:29

來(lái)源： OFweek人工智能網(wǎng)

阿里最新開(kāi)源的項(xiàng)目 ROCK，瞄準(zhǔn)了智能體訓(xùn)練中最棘手的問(wèn)題——缺乏可擴(kuò)展、可標(biāo)準(zhǔn)化的真實(shí)交互環(huán)境。

過(guò)去，開(kāi)發(fā)者在訓(xùn)練復(fù)雜任務(wù)時(shí)常常需要手工搭建環(huán)境：配置依賴、調(diào)試狀態(tài)、處理兼容性等，一系列工程工作讓大規(guī)模訓(xùn)練難以推進(jìn)。而ROCK的目標(biāo)，是把“訓(xùn)練場(chǎng)”也做成一種標(biāo)準(zhǔn)化資源：一鍵部署、自動(dòng)擴(kuò)縮、可監(jiān)控、可調(diào)試。

這意味著，開(kāi)發(fā)者第一次可以在不“手搓環(huán)境”的情況下訓(xùn)練Agent，讓環(huán)境也像模型一樣可規(guī)模化擴(kuò)展。

與此同時(shí)，它和阿里此前開(kāi)源的強(qiáng)化學(xué)習(xí)訓(xùn)練框架 ROLL 形成了強(qiáng)強(qiáng)組合：

ROLL 專注訓(xùn)練策略（RL框架、算法、分布式優(yōu)化）
ROCK 負(fù)責(zé)提供訓(xùn)練環(huán)境（環(huán)境管理、狀態(tài)維護(hù)、彈性調(diào)度）

兩者互補(bǔ)，構(gòu)成了智能體訓(xùn)練的算法引擎 + 環(huán)境燃料閉環(huán)，解決了長(zhǎng)久以來(lái)阻礙智能體訓(xùn)練鏈路的核心難題。

為什么環(huán)境服務(wù)是智能體進(jìn)化的關(guān)鍵缺口？

大型語(yǔ)言模型正在從“語(yǔ)言工具”進(jìn)化成“可與外界交互的智能體”——能運(yùn)行代碼、調(diào)API、填表格、瀏覽網(wǎng)頁(yè)、操作軟件。

這類模型要真正領(lǐng)先，就必須在真實(shí)環(huán)境中接受成千上萬(wàn)次交互訓(xùn)練。

然而，真正能支撐數(shù)萬(wàn)并發(fā)環(huán)境實(shí)例的系統(tǒng)極其復(fù)雜，往往會(huì)變成訓(xùn)練流程的最大瓶頸。

一個(gè)高質(zhì)量的環(huán)境系統(tǒng)必須：

支撐數(shù)千到數(shù)萬(wàn)獨(dú)立實(shí)例并發(fā)運(yùn)行
提供毫秒級(jí)的反饋
能夠復(fù)現(xiàn)、回溯、重置任意狀態(tài)
接入不同類型的任務(wù)（網(wǎng)頁(yè)、代碼、工具鏈、多輪交互）
在長(zhǎng)時(shí)間運(yùn)行中保持穩(wěn)定

這寫條件對(duì)大多數(shù)團(tuán)隊(duì)來(lái)說(shuō)難度過(guò)高。而阿里推出 ROCK，就是為了解決這一行業(yè)共性難題。

ROLL 構(gòu)建在 Ray 之上，面向大模型的規(guī)�；� RL 訓(xùn)練，提供了從小規(guī)模實(shí)驗(yàn)到大規(guī)模生產(chǎn)訓(xùn)練的全套能力：

支持?jǐn)?shù)學(xué)、推理、代碼等多任務(wù)混合訓(xùn)練
支持多輪對(duì)話、工具調(diào)用、代碼執(zhí)行等多步?jīng)Q策訓(xùn)練
深度集成Megatron-Core、DeepSpeed等框架，支持多維并行
提供異步推理、異步訓(xùn)練和高效的樣本管理機(jī)制
使用極簡(jiǎn)的通用接口 GEM（reset/step），讓環(huán)境適配更輕量

ROLL本質(zhì)是一臺(tái)高性能訓(xùn)練發(fā)動(dòng)機(jī)。但要運(yùn)行發(fā)動(dòng)機(jī)，必須有充足、穩(wěn)定、可擴(kuò)展的環(huán)境作為燃料——這正是ROCK的使命。

把智能體訓(xùn)練環(huán)境做成可擴(kuò)展的“工廠系統(tǒng)”

ROCK（Reinforcement Open Construction Kit）定位明確：用工程化方式解決環(huán)境規(guī)模瓶頸。

依托 Ray，ROCK 可以把底層資源抽象成一個(gè)統(tǒng)一的環(huán)境資源池，其中包括：

修改配置即可在幾分鐘內(nèi)啟動(dòng)成千上萬(wàn)的并行環(huán)境
同時(shí)支持同構(gòu)和異構(gòu)環(huán)境在一套集群中混跑

這大幅降低了 Agent 訓(xùn)練從單機(jī)實(shí)驗(yàn)到集群規(guī)模之間的門檻。

傳統(tǒng)的分布式環(huán)境很難調(diào)試，而 ROCK 支持通過(guò) SDK 或 HTTP API 遠(yuǎn)程交互，并可查看環(huán)境文件系統(tǒng)、運(yùn)行日志、進(jìn)程狀態(tài)。除此之外還能實(shí)時(shí)修改環(huán)境變量、控制環(huán)境行為。

ROCK 還設(shè)計(jì)了三種使用模式，包括：

本地獨(dú)立環(huán)境：快速驗(yàn)證依賴、測(cè)試環(huán)境行為
本地集成調(diào)試：與ROLL對(duì)接，測(cè)試完整鏈路
云端規(guī)�；渴�：無(wú)需改代碼，自動(dòng)擴(kuò)展到成千上萬(wàn)實(shí)例

Rock & Roll，兩者配合，形成了一套面向智能體時(shí)代的訓(xùn)練閉環(huán)，讓流程變得可復(fù)制、可擴(kuò)展、可工業(yè)化。Roll 提供大規(guī)模RL訓(xùn)練引擎，讓模型學(xué)會(huì)正確決策；ROCK 提供可擴(kuò)展、多環(huán)境的訓(xùn)練場(chǎng)，讓交互數(shù)據(jù)更穩(wěn)定。

無(wú)論是研究人員、系統(tǒng)架構(gòu)師，還是獨(dú)立開(kāi)發(fā)者，這套工具鏈都是邁向 Agentic AI 時(shí)代的關(guān)鍵基建。

參考資料：

https://mp.weixin.qq.com/s/yX-0TBFWPCIJES17aJnXrA

https://alibaba.github.io/ROCK/docs/Getting%20Started/rockroll/

https://github.com/alibaba/ROCK