LongCat-Video 是一個擁有 136 億參數(shù)的基礎視頻生成模型，尤其擅長高效、高質(zhì)量的長視頻生成。

模型不僅支持 720p、30fps 的高質(zhì)量畫面（文生部分），還能精準解析文本中物體、人物、場景、風格等細節(jié)指令。

隨著美團的加入，生成視頻的賽道越來越卷。作為外賣起家的平臺，美團 LongCat-Video 在設計和能力上又有什么亮點呢？

模型亮點速覽

LongCat-Video 由美團 LongCat 團隊打造，是一個統(tǒng)一模型，覆蓋文本生成視頻、圖像生成視頻、視頻續(xù)寫三大任務。

模型基于 DiT（Diffusion Transformer）架構，采用‘條件幀數(shù)量’區(qū)分任務�？赏瓿�文生無需條件幀、圖生輸入1 幀、續(xù)寫輸入多幀等任務。

模型有四大核心亮點：

• 支持多任務：LongCat-Video 將文本轉(zhuǎn)視頻 、 圖像轉(zhuǎn)視頻和視頻延續(xù)任務統(tǒng)一到一個視頻生成框架中。它使用單一模型原生支持所有這些任務，并在每項任務中始終保持強勁性能。

• 長視頻生成：LongCat-Video 經(jīng)過原生視頻連續(xù)任務預訓練，使其能夠制作長達數(shù)分鐘的視頻，而不會出現(xiàn)色彩漂移或質(zhì)量下降的情況。

• 高效推理：LongCat-Video 采用由粗到精的生成策略，在時間和空間維度上，幾分鐘內(nèi)即可生成 720p、30fps 的視頻。塊稀疏注意力機制進一步提升了效率，尤其是在高分辨率下。

• 多獎勵 RLHF 的強勁性能：在多獎勵組相對策略優(yōu)化 (GRPO) 的支持下，內(nèi)部和公共基準的綜合評估表明，LongCat-Video 實現(xiàn)了與領先的開源視頻生成模型以及最新的商業(yè)解決方案相當?shù)男阅堋?/span>

LongCat-Video 在開源視頻生成模型中已達到 SOTA 水平。文生視頻能力優(yōu)于 PixVerse-V5 和 Wan2.2-T2V-A14B 等視頻模型。

降本增效的策略組合

推理效率仍然是視頻生成的一大挑戰(zhàn)，尤其是在生成高分辨率、高幀率的視頻時。

研究團隊因此引入了多項優(yōu)化措施來提升推理效率，對基礎模型進行了提煉，以減少必要的采樣步驟。

此外還部署了由粗到精 (C2F) 生成和塊稀疏注意力 (BSA)，以進一步降低高分辨率視頻生成的時間成本。

結(jié)合這些策略可將推理效率提高 10 倍以上，從而可以在幾分鐘內(nèi)生成 720p、30f/s 的視頻。粗到精的生成策略不僅降低了推理成本，還提高了生成質(zhì)量，尤其是增強了視覺細節(jié)。

在 GRPO 訓練中，團隊僅采用文本轉(zhuǎn)視頻任務，并發(fā)現(xiàn)指令遵循、視覺質(zhì)量和運動質(zhì)量的提升可以很好地推廣到圖像轉(zhuǎn)視頻和視頻延續(xù)任務。

結(jié)語

用戶偏好表明，LongCat-Video 的性能雖然落后于最先進的閉源模型 Veo3，但可與 PixVerse-V5 等其他領先的專有模型相媲美。

在直接比較中，LongCat-Video 和 PixVerse-V5 的整體質(zhì)量幾乎相同（242 vs. 246），而且在視覺質(zhì)量方面表現(xiàn)出明顯的優(yōu)勢。

更重要的是，與目前最先進的開源模型 Wan2.2-T2V-A14B 進行對比時，LongCat-Video 在整體質(zhì)量上更受用戶青睞，這得益于其在文本對齊和運動質(zhì)量方面的優(yōu)勢。

高效的長視頻生成解決了世界模型的渲染問題，使模型能夠通過生成的視頻內(nèi)容表達其世界知識。

研究人員表示，未來的研究方向包括更好地建模物理知識、在視頻生成中集成多模態(tài)記憶，以及整合 LLM 和 MLLM 的知識。

參考資料： https://github.com/meituan-longcat/LongCat-Video/blob/main/longcatvideo_tech_report.pdf