他引入了一種新的目標(biāo)函數(shù)——草圖化各向同性高斯正則化（SIGReg）——來約束嵌入，使其達(dá)到該理想分布。

將 JEPA 預(yù)測損失與 SIGReg 相結(jié)合，產(chǎn)生了 LeJEPA，它具有諸多理論和實(shí)踐優(yōu)勢，例如：

• 單一權(quán)衡超參數(shù)

• 線性時(shí)間和內(nèi)存復(fù)雜度

• 對各種超參數(shù)、架構(gòu)（ResNet、ViT、ConvNet）和領(lǐng)域均具有穩(wěn)定性

• 無需啟發(fā)式方法

• 易于分布式訓(xùn)練，僅需約 50 行代碼即可實(shí)現(xiàn)

目前的實(shí)證驗(yàn)證涵蓋了 10 多個(gè)數(shù)據(jù)集和 60 多個(gè)架構(gòu)，涵蓋了不同的規(guī)模和領(lǐng)域。

有消息稱，這可能是 LeCun 在 Meta 發(fā)表的最后幾篇論文之一。

穩(wěn)定且可擴(kuò)展

團(tuán)隊(duì)在確立各向同性高斯分布作為理想的特征先驗(yàn)后，將基于統(tǒng)計(jì)檢驗(yàn)的正則化方式加入到模型中，形成了 LeJEPA 的整體框架。

該方法利用一種切片式的檢驗(yàn)來衡量模型嵌入與目標(biāo)分布之間的偏差，并用數(shù)值求積近似替代積分計(jì)算。

實(shí)際實(shí)驗(yàn)表明，即便只使用十幾個(gè)位點(diǎn)，簡單的求積方法也足以獲得穩(wěn)定估計(jì)；同時(shí)由于被積函數(shù)具有對稱性，可在不增加額外成本的情況下提高估計(jì)精度。

雖然小批量訓(xùn)練會帶來一定偏差，但其衰減速度非�？�，經(jīng)驗(yàn)上即便是很小的 batch 也不會造成明顯影響，因此不采用樣本分割或 U-統(tǒng)計(jì)量等無偏替代方案。

預(yù)測損失部分沿用了自監(jiān)督多視圖學(xué)習(xí)的約定，通過生成若干全局視角和局部視角，讓模型在各視圖之間進(jìn)行一致性預(yù)測；所有視圖共同對全局視圖特征進(jìn)行估計(jì)，并以全局嵌入的均值作為對齊目標(biāo)。

實(shí)驗(yàn)結(jié)果

最終的 LeJEPA 損失就是將預(yù)測項(xiàng)與正則項(xiàng)按照單一權(quán)重進(jìn)行組合，因此整體實(shí)現(xiàn)非常精簡，不依賴教師-學(xué)生結(jié)構(gòu)、預(yù)測器分支或梯度停止等傳統(tǒng)啟發(fā)式，應(yīng)對坍塌主要依靠正則項(xiàng)本身的數(shù)學(xué)約束。

該方法與生成建模和最優(yōu)傳輸中的部分技術(shù)思路相通，例如切片分布匹配或核式統(tǒng)計(jì)距離。當(dāng)切片檢驗(yàn)的積分被完全解析化時(shí)，其形式與某些 MMD 方法接近。

理論上在特定的檢驗(yàn)選擇下會出現(xiàn)與其他 SSL 框架相似的極端情形，但研究者指出這些設(shè)定容易產(chǎn)生捷徑式解，因此不推薦使用。

實(shí)驗(yàn)結(jié)果顯示，LeJEPA 在不同架構(gòu)、不同數(shù)據(jù)規(guī)模和常見超參數(shù)下都具有良好穩(wěn)定性；視覺模型在 ImageNet-100、ImageNet-1K 上均能在多種視圖設(shè)置與損失權(quán)重下保持穩(wěn)定表現(xiàn)，且無需顯式監(jiān)督即可學(xué)習(xí)豐富的語義分割特征。

在專業(yè)領(lǐng)域（如星系圖像）的數(shù)據(jù)集上，直接使用 LeJEPA 預(yù)訓(xùn)練能優(yōu)于當(dāng)前主流的自監(jiān)督模型，即使在千級樣本的小數(shù)據(jù)集上也能有效學(xué)習(xí)。

結(jié)果顯示，使用 LeJEPA 進(jìn)行域內(nèi)預(yù)訓(xùn)練，在線性探測和全量微調(diào)這兩項(xiàng)評估中均顯著優(yōu)于頂尖的前沿模型。

正則項(xiàng)的積分上下限、求積點(diǎn)數(shù)等參數(shù)對性能影響極小，而切片數(shù)量只在一定程度上帶來增益。

可視化顯示，模型內(nèi)部自然形成了具有語義意義的注意力模式，既能突出物體邊界，也能在視頻序列中形成時(shí)間一致的前景分割，表明其學(xué)到的表征同時(shí)具備空間語義和時(shí)間結(jié)構(gòu)。

整體來看，LeJEPA 通過明確的分布正則和簡潔的多視圖預(yù)測目標(biāo)，在穩(wěn)定性、跨架構(gòu)適用性、小樣本有效性以及下游可控性方面展現(xiàn)出顯著優(yōu)勢。

參考資料：

https://arxiv.org/pdf/2511.08544