ResNet 之父、麻省理工副教授何愷明新論文發(fā)現(xiàn)了這一問題。

預(yù)測干凈數(shù)據(jù)和預(yù)測帶噪聲的量本質(zhì)上是不同的。根據(jù)流形假設(shè)，自然數(shù)據(jù)應(yīng)該位于低維流形上，而帶噪聲的量則不然。

基于此假設(shè)，何愷明提倡使用直接預(yù)測干凈數(shù)據(jù)的模型，這使得看似容量不足的網(wǎng)絡(luò)能夠在高維空間中高效運(yùn)行。

結(jié)果證明，簡單的、基于像素的大塊 Transformer 模型可以成為強(qiáng)大的生成模型：無需分詞器、無需預(yù)訓(xùn)練，也無需額外的損失函數(shù)。

Just Image Transformers

整體架構(gòu)是“圖像變換器”（Just Image Transformer，簡稱 JiT）。他們研究了 256×256 圖像上的 JiT/16（即圖像塊大小 p=16）以及 512×512 圖像上的 JiT/32（p=32）。

實驗證明，僅使用 x 預(yù)測，對像素進(jìn)行操作的普通視覺變換器 (ViT) 就能出人意料地好用。

ViT 的核心思想是**基于補(bǔ)丁的轉(zhuǎn)換器 (ToP)**。研究架構(gòu)設(shè)計遵循這一理念。

研究人員總結(jié)了損失空間和預(yù)測空間的九種可能組合。對于每一種組合訓(xùn)練了一個基礎(chǔ)模型（JiT-B），其每個標(biāo)記的隱藏層大小為 768 維。

結(jié)果顯示，當(dāng)模型性能已經(jīng)相當(dāng)不錯時，適當(dāng)高的噪聲是有益的。

在 x-prediction 的情況下，增加隱藏單元的數(shù)量并非必要。

網(wǎng)絡(luò)設(shè)計可以很大程度上與觀測到的維度無關(guān)，這在許多其他神經(jīng)網(wǎng)絡(luò)應(yīng)用中也是如此。增加隱藏單元的數(shù)量可能是有益的，但這并非決定性的因素。

研究人員整合了一些常用的通用改進(jìn)方法：SwiGLU、RMSNorm、RoPE 和 qk-norm，這些方法最初都是為語言模型開發(fā)的。他們還探索了上下文中的類條件化。

實驗結(jié)果

在 ImageNet 256×256 的結(jié)果中，他們評估了 5 萬個樣本的 FID 和 IS。 “預(yù)訓(xùn)練”使用了預(yù)訓(xùn)練的 VGG 分類器。參數(shù)包括生成器和分詞解碼器，但不包括其他預(yù)訓(xùn)練組件。結(jié)果大致與訓(xùn)練和推理過程中每次迭代的計算成本成正比。

在 ImageNet 512×512 的結(jié)果顯示，JiT 采用較大的圖像塊尺寸，并能以較小的計算量獲得良好的結(jié)果。

盡管 v-prediction 似乎是 v-loss 的“原生”參數(shù)化方式，但其損失值卻比 x-prediction **高出約 25%**。這一比較表明，由于數(shù)據(jù)位于低維流形上，x-prediction 的任務(wù)本質(zhì)上更容易。

研究人員還觀察到，?prediction 的損失值大約高出 3 倍，且不穩(wěn)定。

雖然研究有意不使用任何額外的損失函數(shù)，然而，基于潛在變量的方法通常依賴于使用對抗損失和感知損失訓(xùn)練的分詞器，因此它們的生成過程并非完全由擴(kuò)散驅(qū)動。

在特定的 Transformer 模塊（JiT-B 中的第 4 個模塊和 JiT-L 中的第 8 個模塊）之后附加一個分類器頭。該分類器由全局平均池化層和線性層組成，并應(yīng)用交叉熵?fù)p失函數(shù)來處理 1000 類 ImageNet 分類任務(wù)。

這一小的改動帶來了不錯的改進(jìn)，他們將在未來的工作中探討這個問題。

參考資料：

https://arxiv.org/pdf/2511.13720v1