国产在线无码视频一区,国内精品久久人妻无码妲己影院,97无码免费人妻超级碰碰夜夜

當(dāng)前位置： OFweek 人工智能網(wǎng) > 其他 > 正文

Meta 開(kāi)源首個(gè)世界代碼模型：徹底改變代碼生成！

2025-11-17 15:43

來(lái)源： OFweek人工智能網(wǎng)

就在剛剛，Meta FAIR 推出代碼世界模型（CWM）。這是一個(gè) 32B 參數(shù)、上下文大小達(dá) 131k token 的研究模型，旨在探索世界模型如何改變代碼生成和代碼推理。

這是全球首個(gè)將世界模型系統(tǒng)性引入代碼生成的語(yǔ)言模型。與現(xiàn)有代碼大模型相比，CWM 的根本性突破在于其超越了代碼生成與語(yǔ)義理解。它的核心優(yōu)勢(shì)在于能夠模擬代碼的執(zhí)行過(guò)程，動(dòng)態(tài)追蹤變量狀態(tài)的變化并預(yù)判環(huán)境反饋。這種“執(zhí)行感知”能力使其在代碼理解、調(diào)試與復(fù)雜任務(wù)規(guī)劃方面實(shí)現(xiàn)了質(zhì)的飛躍。

在多個(gè)代碼與推理任務(wù)上，CWM 表現(xiàn)出色，在 SWE-bench Verified 得分 65.8%，接近GPT-4 的水平。

Meta FAIR 這次還開(kāi)源了模型代碼、訓(xùn)練細(xì)節(jié)以及多個(gè)階段的權(quán)重檢查點(diǎn)。

為什么需要 “世界模型” ？

先來(lái)討論我們?yōu)槭裁葱枰?“世界模型” 這個(gè)問(wèn)題。

傳統(tǒng)代碼 AI 的局限性在于“從未運(yùn)行過(guò)自己寫(xiě)的代碼”。一些代碼 AI 能根據(jù)注釋或上下文快速生成代碼片段，然而，這類(lèi)模型的核心工作機(jī)制是：基于海量代碼數(shù)據(jù)學(xué)習(xí)統(tǒng)計(jì)規(guī)律，預(yù)測(cè)下一個(gè)最可能的 token。這會(huì)導(dǎo)致幾個(gè)關(guān)鍵問(wèn)題：

“看起來(lái)正確”的代碼：生成的代碼在語(yǔ)法和結(jié)構(gòu)上無(wú)懈可擊，邏輯也看似合理，但一旦投入運(yùn)行，便會(huì)暴露隱藏的錯(cuò)誤。
缺乏狀態(tài)感知能力：模型難以動(dòng)態(tài)追蹤代碼執(zhí)行過(guò)程中變量、內(nèi)存、文件系統(tǒng)或數(shù)據(jù)庫(kù)狀態(tài)的實(shí)際變化，其理解停留在靜態(tài)文本層面。
多步任務(wù)規(guī)劃困難：面對(duì)需要連續(xù)操作的任務(wù)（例如“先修復(fù)這個(gè)Bug，再為其添加測(cè)試”），模型容易在后續(xù)步驟中遺忘之前操作對(duì)整體狀態(tài)造成的影響，從而導(dǎo)致前后邏輯斷裂。

這些問(wèn)題的根源，在于模型缺乏對(duì)代碼動(dòng)態(tài)執(zhí)行過(guò)程的深層理解。

CWM 的創(chuàng)新在于將代碼的執(zhí)行軌跡和交互歷史作為核心訓(xùn)練數(shù)據(jù)，不僅在學(xué)“怎么寫(xiě)代碼”，更在學(xué)“怎么跑代碼”。

在 FAIR 團(tuán)隊(duì)看來(lái)，如果想讓模型擁有程序員的思維模式，就必須教會(huì)它代碼執(zhí)行的“世界狀態(tài)”變化。

因此，CWM 在訓(xùn)練過(guò)程中引入代碼世界建模（code world modeling）的概念，明確讓模型學(xué)習(xí)程序狀態(tài)是如何在代碼運(yùn)行過(guò)程中演變的。

大規(guī)模數(shù)據(jù)集增強(qiáng)建模能力

FAIR 重點(diǎn)介紹了兩項(xiàng)增強(qiáng) CWM 世界建模能力的大規(guī)模數(shù)據(jù)收集工作：Python 執(zhí)行軌跡和 ForagerAgent。

Python 執(zhí)行軌跡會(huì)給定一個(gè) Python 代碼上下文和一個(gè)追蹤起始點(diǎn)的標(biāo)記，該模型會(huì)定源代碼上下文和跟蹤起點(diǎn)標(biāo)記，并預(yù)測(cè)一系列表示程序狀態(tài)和操作（已執(zhí)行代碼）的堆棧幀。

團(tuán)隊(duì)對(duì)超過(guò) 2.1 萬(wàn)個(gè)可用且可追蹤的倉(cāng)庫(kù)鏡像的 token 測(cè)試執(zhí)行了 Python 執(zhí)行跟蹤。并生成一個(gè)以自然語(yǔ)言逐步描述 Python 代碼執(zhí)行的數(shù)據(jù)集。

ForagerAgent 通過(guò)向 LLM 發(fā)出軟件工程任務(wù)的提示，使其在特定代碼庫(kù)的上下文中求解，從而收集多步軌跡。

團(tuán)隊(duì)從 10.2 萬(wàn)張圖片和 3.15 萬(wàn)個(gè)底層存儲(chǔ)庫(kù)中收集了 300 萬(wàn)條軌跡。這些軌跡在問(wèn)題修復(fù)任務(wù)和變異修復(fù)任務(wù)中的比例分別為 55% 和 45%。

預(yù)訓(xùn)練和后訓(xùn)練

架構(gòu)上，F(xiàn)AIR 選擇了密集架構(gòu)而非稀疏架構(gòu)。CWM 使用局部和全局注意力模塊交替排列的模式，以 3:1 的比例交錯(cuò)，滑動(dòng)窗口大小分別為 8192 個(gè)和 131072 個(gè) token。

CWM 預(yù)訓(xùn)練由兩個(gè)階段組成：

通用預(yù)訓(xùn)練：首先使用來(lái)自各種來(lái)源的 8 個(gè) T token進(jìn)行初始預(yù)訓(xùn)練，重點(diǎn)關(guān)注編碼數(shù)據(jù)以及 STEM 和常識(shí)。使用全局批量大小為 8.4 M 的 token 和上下文長(zhǎng)度為 8192 的 token 對(duì)模型進(jìn)行預(yù)訓(xùn)練。
代碼世界模型中期訓(xùn)練：利用額外的 5 T 個(gè) token 對(duì)模型進(jìn)行中期訓(xùn)練，引入了一些數(shù)據(jù)集來(lái)支持代碼世界建模目標(biāo)。全局批次大小為 33 M 個(gè) token，最大上下文長(zhǎng)度為 131 k 個(gè) token。

后訓(xùn)練階段基于早期訓(xùn)練階段學(xué)習(xí)到的內(nèi)部代碼世界模型，提升了 CWM 通過(guò)推理解決復(fù)雜編程相關(guān)問(wèn)題的能力。

首先是進(jìn)行監(jiān)督微調(diào) (SFT），以提升推理能力和通用指令遵循能力。團(tuán)隊(duì)對(duì) 100 B 個(gè) token 執(zhí)行 SFT，全局批次大小為 2 M 個(gè) token。

除此之外，還使用了 GRPO 的變體來(lái)訓(xùn)練 CWM。與原始 GRPO 不同，團(tuán)隊(duì)采用了多輪變體和異步 RL，從而實(shí)現(xiàn)更高的吞吐量。

實(shí)驗(yàn)結(jié)果

消融研究表明，在訓(xùn)練中期引入 GitHub PR 軌跡、Python 執(zhí)行跟蹤和 ForagerAgent 數(shù)據(jù)對(duì)性能有積極影響。

CWM 在 SWE-bench Verified 中解析率達(dá)到 65.8%，表現(xiàn)優(yōu)于類(lèi)似規(guī)模的開(kāi)放權(quán)重模型，接近 GPT-oss120B、Qwen3-Coder 和 Kimi K2 等規(guī)模更大的模型水平。

在 LiveCodeBench v5 的基準(zhǔn)測(cè)試中，CWM 也取得了 68.6% 的分?jǐn)?shù)，展示高復(fù)雜度編程任務(wù)上的準(zhǔn)確性。

結(jié)語(yǔ)

Meta FAIR 的愿景是讓代碼世界模型彌補(bǔ)語(yǔ)言級(jí)推理與可執(zhí)行語(yǔ)義之間的鴻溝。實(shí)驗(yàn)表明，世界建模數(shù)據(jù)、Python 執(zhí)行軌跡和可執(zhí)行的 Docker 環(huán)境可以直接提升下游任務(wù)的性能。Python 跟蹤世界模型能夠支持對(duì)代碼生成、執(zhí)行、正確性和驗(yàn)證的推理研究。世界模型還專(zhuān)注于學(xué)習(xí)哪些動(dòng)作會(huì)帶來(lái)獎(jiǎng)勵(lì)，能夠改進(jìn)強(qiáng)化學(xué)習(xí)。

參考資料：

https://www.xugj520.cn/archives/meta-cwm-code-world-model.html
https://ai.meta.com/research/publications/cwm-an-open-weights-llm-for-research-on-code-generation-with-world-models/