官方表示，這是朝著 AGI 方向邁出的重要一步，對機(jī)器人技術(shù)的未來以及人工智能具身化技術(shù)的發(fā)展具有重要意義。

推理的力量

SIMA 的第一個版本學(xué)會了在各種商業(yè)電子游戲中執(zhí)行 600 多項語言跟隨技能。它在這些環(huán)境中像真人一樣操作，通過“看”屏幕并使用虛擬鍵盤和鼠標(biāo)進(jìn)行導(dǎo)航。

通過將 Gemini 模型嵌入到智能體的核心，SIMA 2 不僅可以響應(yīng)指令，還能思考和推理指令。

研究人員使用包含語言標(biāo)簽的人類演示視頻以及 Gemini 生成的標(biāo)簽對 SIMA 2 進(jìn)行了訓(xùn)練。因此 SIMA 2 可以向用戶描述它的意圖，并詳細(xì)說明它為實現(xiàn)目標(biāo)所采取的步驟。

泛化性能躍升

SIMA 2 能夠理解并完成冗長復(fù)雜的任務(wù)

SIMA 2 能夠理解多模態(tài)提示

SIMA 2 可以理解不同的語言，甚至還能識別表情符號

SIMA 2 還可以遷移已習(xí)得概念的能力，是實現(xiàn)人類認(rèn)知中廣泛泛化能力的基礎(chǔ)。事實上，正是由于這種能力，SIMA 2 在各種任務(wù)上的表現(xiàn)都顯著接近人類玩家。

可擴(kuò)展的多任務(wù)自我提升

SIMA 2 最令人興奮的新功能之一是自我改進(jìn)能力。在整個訓(xùn)練過程中，SIMA 2 智能體能夠通過反復(fù)試驗和基于 Gemini 的反饋，逐步完成越來越復(fù)雜的新任務(wù)。

在最初通過人類演示學(xué)習(xí)后，SIMA 2 便能完全通過自主游戲的方式在新游戲中學(xué)習(xí)，在之前從未見過的世界中提升技能，而無需額外的人類生成數(shù)據(jù)。在后續(xù)訓(xùn)練中，SIMA 2 自身的經(jīng)驗數(shù)據(jù)可用于訓(xùn)練下一代更強(qiáng)大的智能體。

SIMA 2 能夠在各種游戲環(huán)境中運行，這是通用智能的重要試驗場，使智能體能夠掌握技能、練習(xí)復(fù)雜的推理，并通過自主游戲不斷學(xué)習(xí)。

但是，研究也顯示智能體在處理需要大量多步驟推理和目標(biāo)驗證的超長時程、復(fù)雜任務(wù)時仍然面臨挑戰(zhàn)——SIMA 2 必須使用有限的上下文窗口才能實現(xiàn)低延遲交互。而且如何通過鍵盤和鼠標(biāo)界面執(zhí)行精確的底層操作，以及如何對復(fù)雜的 3D 場景進(jìn)行穩(wěn)健的視覺理解，仍然是整個領(lǐng)域仍在努力解決的難題。

SIMA 2 證實，經(jīng)過廣泛訓(xùn)練、利用多樣化的多世界數(shù)據(jù)和 Gemini 強(qiáng)大的推理能力的人工智能，能夠成功地將許多專業(yè)系統(tǒng)的能力整合到一個連貫的通用智能體中。

SIMA 2 也為機(jī)器人領(lǐng)域的應(yīng)用提供了強(qiáng)有力的幫助，從導(dǎo)航和工具使用到協(xié)作任務(wù)執(zhí)行的技能是未來人工智能助手在現(xiàn)實世界中實現(xiàn)智能物理化的基本組成部分。

參考資料：

https://deepmind.google/blog/sima-2-an-agent-that-plays-reasons-and-learns-with-you-in-virtual-3d-worlds/