亚洲黄色美女潮吹片,无码专区人妻日韩,亚洲国产精品无码久久九九大片

<span id="hkvkx"></span>

當(dāng)前位置： OFweek 人工智能網(wǎng) > 其他 > 正文

月之暗面強(qiáng)化學(xué)習(xí)訓(xùn)練系統(tǒng) Seer：吞吐量提升 30%

2025-12-01 17:31

來源： OFweek人工智能網(wǎng)

近日，月之暗面和清華大學(xué)聯(lián)合發(fā)表了一篇論文，詳細(xì)介紹了一個(gè)強(qiáng)化學(xué)習(xí)訓(xùn)練系統(tǒng) Seer——在不改變核心訓(xùn)練算法的前提下，大幅度提升大模型的強(qiáng)化學(xué)習(xí)訓(xùn)練速度。

在生產(chǎn)級(jí) RL 工作負(fù)載上的評(píng)估表明，Seer 將端到端部署吞吐量提高了 74% 到 97%，并將長(zhǎng)尾延遲降低了 75% 到 93%，從而顯著加快了 RL 訓(xùn)練迭代速度。

降本增效

論文提到，現(xiàn)有的同步 RL 系統(tǒng)面臨著嚴(yán)重的性能瓶頸。部署階段存在顯著的長(zhǎng)尾延遲和資源利用率低下的問題。

Seer 通過利用共享同一提示的請(qǐng)求之間輸出長(zhǎng)度和生成模式的相似性來解決這些挑戰(zhàn)。引入了三項(xiàng)關(guān)鍵技術(shù)：用于動(dòng)態(tài)負(fù)載均衡的分段部署、上下文感知調(diào)度、和自適應(yīng)分組推測(cè)解碼。

這些機(jī)制顯著降低了部署階段的長(zhǎng)尾延遲并提高了資源效率。

傳統(tǒng)的組級(jí)部署將請(qǐng)求組視為整體單元，導(dǎo)致實(shí)例間和實(shí)例內(nèi)負(fù)載嚴(yán)重不均衡。Seer 通過分段部署實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡并防止搶占�；诜侄尾渴穑琒eer 實(shí)現(xiàn)了在線上下文學(xué)習(xí)，從而支持上下文感知調(diào)度和自適應(yīng)分組推測(cè)解碼，進(jìn)一步縮短部署時(shí)間。

分段式部署

Seer 采用了分割式滾動(dòng)調(diào)度（Divided Rollout）來實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡并最大化顯存利用率。Seer 不僅將請(qǐng)求組拆分為獨(dú)立的請(qǐng)求，還將其進(jìn)一步分解為多個(gè)塊，并進(jìn)行增量調(diào)度和分發(fā)。這種策略使得整個(gè)滾動(dòng)調(diào)度過程能夠在不觸發(fā)代價(jià)高昂的搶占的情況下最大化資源利用率。

上下文感知調(diào)度

Seer 利用推測(cè)性請(qǐng)求機(jī)制來指導(dǎo)其調(diào)度策略。通過從每個(gè) GRPO 組生成一個(gè)高優(yōu)先級(jí)響應(yīng)，它可以在線估算該組的預(yù)期生成長(zhǎng)度和 KVCache 占用空間。這使得全局調(diào)度器能夠?qū)崿F(xiàn)近似的最長(zhǎng)作業(yè)優(yōu)先策略。

這種方法優(yōu)先處理耗時(shí)較長(zhǎng)的任務(wù)，使其與耗時(shí)較短的任務(wù)并行運(yùn)行，從而最大化批處理密度

自適應(yīng)分組推測(cè)解碼

Seer 引入了一種基于在線上下文學(xué)習(xí)的推測(cè)解碼機(jī)制，以實(shí)現(xiàn)部署加速。Seer 部署了一個(gè)分布式分組草稿服務(wù)器（DGDS），創(chuàng)建了一個(gè)高度精確的動(dòng)態(tài)草稿模型，該模型與目標(biāo)模型固有地同步。

此外，DGDS 還引入了一種自適應(yīng)草稿范圍機(jī)制，以最大化系統(tǒng)吞吐量。自適應(yīng)分組推測(cè)解碼在端到端吞吐量方面分別比兩種消融變體高出 27% 和 11%。

實(shí)驗(yàn)結(jié)果

為了測(cè)試 Seer 端到端的性能，研究人員將 Seer 的吞吐量性能與同步強(qiáng)化學(xué)習(xí)系統(tǒng) veRL 進(jìn)行比較。結(jié)果顯示，盡管不同強(qiáng)化學(xué)習(xí)任務(wù)的模型規(guī)模和工作負(fù)載特征存在顯著差異，但 Seer 在所有任務(wù)中均實(shí)現(xiàn)了顯著的加速，吞吐量比 veRL 提高了 74% 到 97%。

這種改進(jìn)源于 Seer 的細(xì)粒度負(fù)載均衡以及其在線學(xué)習(xí)分組請(qǐng)求上下文信息的能力，從而實(shí)現(xiàn)了更優(yōu)的調(diào)度策略和更高效的分組推測(cè)解碼。

基準(zhǔn)系統(tǒng)在迭代過程中完成時(shí)間和吞吐量表現(xiàn)出較大的波動(dòng)性。這種不穩(wěn)定性源于其組級(jí)調(diào)度方法，該方法中資源利用率受初始請(qǐng)求分配隨機(jī)性的嚴(yán)重影響。相比之下，Seer 采用細(xì)粒度調(diào)度和動(dòng)態(tài)負(fù)載均衡，顯著降低了資源利用率的波動(dòng)性。

為了進(jìn)一步分析，研究人員還對(duì)部署過程中的長(zhǎng)尾延遲現(xiàn)象進(jìn)行了統(tǒng)計(jì)分析。

結(jié)果表明，尾部延遲是部署過程中的一個(gè)嚴(yán)重問題，尤其對(duì)于像 Moonlight 和 Qwen2-VL-72B 這樣內(nèi)存受限的任務(wù)而言，僅最后 10% 的請(qǐng)求就消耗了高達(dá) 50% 的總執(zhí)行時(shí)間。

由于缺乏長(zhǎng)度信息，請(qǐng)求排隊(duì)和搶占機(jī)制會(huì)導(dǎo)致長(zhǎng)輸出請(qǐng)求的調(diào)度延遲，使得少數(shù)請(qǐng)求主導(dǎo)最終執(zhí)行階段。其次，單一的請(qǐng)求組會(huì)導(dǎo)致實(shí)例間的負(fù)載不均衡，某些實(shí)例會(huì)被分配平均長(zhǎng)度極長(zhǎng)的請(qǐng)求，從而造成尾延遲。Seer 利用在線上下文學(xué)習(xí)和細(xì)粒度請(qǐng)求調(diào)度，顯著降低了 75% 到 93% 的尾延遲，從而大幅提升了系統(tǒng)吞吐量。

參考資料：

https://arxiv.org/pdf/2511.14617