1. 真正的多模態(tài)智能意味著什么？

2. LLM 范式對感覺建模真的有意義嗎？

3. 為什么人類的感知如此輕松、如此直覺，卻又如此強大？

謝賽寧認為，多模態(tài)模型缺少了某種根本性的東西。如果不先建立超級感知能力，就無法建立超級智能。

在他看來，超感知能力并不是指高級傳感器或更好的攝像頭。它講述的是數(shù)字生命體如何真正體驗世界，吸收源源不斷的輸入并從中學(xué)習(xí)。

謝賽寧團隊劃分了多模態(tài)智能從現(xiàn)代到未來的發(fā)展路徑：

• 0. 僅語言理解：缺乏感官能力；推理僅限于文本和符號。目前的多語言學(xué)習(xí)模型已經(jīng)超越了這一階段，但仍然保留著其偏見的痕跡。
• 1. 語義感知：將像素解析為對象、屬性和關(guān)系。這與多層線性模型中存在的強大的多模態(tài)“展示與講述”能力相對應(yīng)。
• 2. 流式事件認知：處理實時、無界的流，同時主動解釋和響應(yīng)正在發(fā)生的事件。這與目前將多語言學(xué)習(xí)者（MLLM）打造為實時助手的努力方向一致。
• 3. 內(nèi)隱三維空間認知：將視頻理解為三維世界的投影。智能體必須知道物體存在什么、它們在哪里、它們之間如何關(guān)聯(lián)以及它們?nèi)绾坞S時間變化。目前的多模態(tài)模型在這方面仍然非常有限。
• 4. 預(yù)測性世界建模：大腦通過基于先前預(yù)期預(yù)測潛在的世界狀態(tài)來進行“無意識推斷”。目前的多模態(tài)系統(tǒng)沒有能夠預(yù)測未來狀態(tài)、維持持久記憶或進行推理和計劃的內(nèi)部模型。

團隊嘗試了一種全新的原型——預(yù)測感知（predictive sensing）。他們在 Cambrian-S 上訓(xùn)練了一個潛變量幀預(yù)測（LFP）頭，并在推理過程中用兩種方式對 “surprise” 的程度進行估計及利用：

1. surprise-driven 的記憶管理 —— 壓縮或跳過不令人驚訝的幀，將算力集中在 “surprise” 的幀上

2. surprise-driven 的事件分割 —— 利用 “surprise” 的峰值來檢測事件邊界或場景變化

基準測試空間超感知

常用的視頻多語言語言學(xué)習(xí)（MLLM）基準測試大多側(cè)重于語言理解和語義感知，而忽略了超感知所需的更高級的空間和時間推理能力。

為了彌補這一關(guān)鍵缺陷，團隊引入了 VSI-S，這是一個專門用于探測空間感知中這些更復(fù)雜、更持續(xù)的方面的新基準測試，由兩個部分組成：

1. VSI-SRecall：長時域空間觀測和召回。

2. VSI-SCount：在不斷變化的視角和場景下進行連續(xù)計數(shù)

研究人員為向 Cambrian-1 模型輸入視頻設(shè)立了幾種實驗條件：

• Multiple Frames (多幀): 模型處理從視頻片段中均勻采樣的 32 幀。這是文獻中表示視頻輸入的標準方法。

• Single Frame (單幀): 模型僅處理給定視頻片段的中間幀。此條件測試對最少的、上下文核心的視覺信息的依賴程度。

• Frame Captions (幀字幕): 模型不接收視頻幀，而是接收對應(yīng)于相同 32 幀均勻采樣圖像的字幕。

為了更好地理解這些條件下的性能，團隊引入了另外兩個基準：

• 盲測：模型僅使用任務(wù)問題本身來嘗試完成任務(wù)。所有視覺輸入均被忽略，不使用任何視覺提示。此基準測試基于模型已有的知識、語言先驗以及基準問題中可能存在的任何偏差來衡量模型的性能。

• 隨機準確率：這代表了在特定任務(wù)形式下隨機猜測所能達到的準確率，作為表現(xiàn)的最低標準。

結(jié)果表明，Cambrian-1 是一款基于圖像的多級邏輯學(xué)習(xí)模型 (MLLM)，無需任何視頻后訓(xùn)練，即可在多個基準測試中取得合理的性能，在某些情況下，其準確率甚至比隨機水平高出 10-30%。這表明，這些基準測試所針對的大部分知識都可以通過標準的單圖像指令調(diào)優(yōu)流程獲得。

然而，在兩個現(xiàn)有數(shù)據(jù)集 VSI-Bench 和 Tomato 上，該模型的性能低于隨機水平。對于 VSI-Bench，這主要是因為其空間理解問題需要真正的視頻感知以及有針對性的數(shù)據(jù)整理和訓(xùn)練。對于 Tomato，該基準測試要求理解來自高幀率視頻的精細細節(jié)，所以這種結(jié)果也在預(yù)期之內(nèi)。

使用文本字幕代替視覺輸入也能顯著提升性能，在 EgoSchema 等基準測試中，該模型的準確率比隨機猜測高出 20% 以上。

當(dāng)前范式下的空間感知

研究人員從 10 個不同視頻類型和標注的來源收集數(shù)據(jù)，以提高多樣性。這種方法得到的數(shù)據(jù)集比從單一來源獲得的同等規(guī)模數(shù)據(jù)集要穩(wěn)健得多。數(shù)據(jù)處理流程分為三步：

1. 標注的真實視頻：多模態(tài)視覺空間推理依賴于對三維幾何和空間關(guān)系的扎實理解。

2. 模擬數(shù)據(jù)：利用具身模擬器程序化地生成空間相關(guān)的視頻軌跡和問答對，在 ProcTHOR場景中渲染了 625 個視頻。

3. 未標注的真實視頻：從 YouTube 收集了約 1.9 萬個房間巡覽視頻，并整合了來自機器人學(xué)習(xí)數(shù)據(jù)集的視頻。

數(shù)據(jù)有效性排名為：帶注釋的真實視頻 > 模擬數(shù)據(jù) > 偽注釋圖像。

結(jié)果證明，更強的基礎(chǔ)模型在空間感知任務(wù)上能產(chǎn)生更好的 SFT 性能。

更強大的基礎(chǔ)模型能夠接觸到更多通用視頻數(shù)據(jù)，可以提高 SFT 后的空間感知能力。此外，采用更強大的基礎(chǔ)模型的 SFT 能夠增強空間理解能力。

結(jié)論

研究團隊認為，要實現(xiàn)超級智能，人工智能系統(tǒng)需要超越目前大多數(shù)多層邏輯模型（MLLM）所關(guān)注的基于文本的知識和語義感知，同時發(fā)展空間認知和預(yù)測性世界模型。

盡管 Cambrian-S 在標準基準測試中表現(xiàn)良好，但其在 VSI-S 數(shù)據(jù)集上的結(jié)果揭示了當(dāng)前 MLLM 范式的局限性。研究人員利用潛在幀預(yù)測和意外估計技術(shù)，構(gòu)建了預(yù)測感知原型來處理無界視覺流。該原型提升了 Cambrian-S 在 VSI-S 數(shù)據(jù)集上的性能。

相關(guān)人員表示，目前的基準測試、數(shù)據(jù)集和模型設(shè)計在質(zhì)量、規(guī)模和泛化能力方面仍存在局限性，原型僅作為概念驗證。未來的工作應(yīng)探索更多樣化、更具具身性的場景，并與視覺、語言和世界建模領(lǐng)域的最新進展建立更緊密的聯(lián)系。

參考資料：

https://arxiv.org/pdf/2511.04670