與先進自監(jiān)督模型的比較，雖然需要更多的計算但是本文提出的模型還是能得到更具競爭力的結果。

由于像BERT這類基于掩膜的語言模型在眾多語言任務上超越了生成模型的結果，研究人員同時還利用BERT測評圖像模型。研究人員沒有調優(yōu)而是使用了15％的掩膜來去除像素，并從非掩膜的像素中來預測出這些結果。結果表明基于BERT模型的線性探測器具有明顯的劣勢但卻能在調優(yōu)下實現(xiàn)后來者居上。

BERT和iGPT－L預訓練模型在32x32分辨率上的比較，可以看到生成模型在預訓練階段得到的特征更好，而BERT模型在調優(yōu)后則迎頭趕上。

雖然非監(jiān)督學習無需人類標記數(shù)據(jù)，但近年來自監(jiān)督學習取得了長足的進步，有效使用了有限的標注數(shù)據(jù)。成功的半監(jiān)督學習方法都使用了像連續(xù)性正則、數(shù)據(jù)增強、準標簽等手段來實現(xiàn)，純粹基于生成的方法近年來沒有顯示出有效的競爭力。iGPT－L在這一子領域對基準數(shù)據(jù)進行了評測，結果表明在沒有圖像增強的情況下性能超過了Mean Teacher和MixMatch，并接近FixMatch的水平。

與精心設計的半監(jiān)督方法不同，iGPT－L在沒有任何數(shù)據(jù)增強和調優(yōu)的情況下用于邏輯回歸分類器的擬合，實現(xiàn)了非常好的半監(jiān)督學習結果。

局限性

雖然iGPT在各種圖像任務上都很成功，但卻不得不提這種方法的局限性。由于使用了GPT－2中的通用序列遷移器架構，這種方法需要大規(guī)模的計算資源，iGPT－L典型情況下需要2500 V－100 GPU日的計算才能達到MoGo模型的水平，而后者只需要約70 V100 計算日的訓練。

此外，這一基于transformer模型的輸入分辨率較低，而其他自監(jiān)督方法可以利用卷積編碼器輕松地處理高維度輸入。也許在未來需要構建多尺度transformer的新架構來處理輸入維度受限的問題。這一工作僅僅是大規(guī)模語言模型在新領域嘗試的原型驗證，無需領域知識的人工編碼。然而龐大的計算量消耗、卷積網絡的高精度表現(xiàn)使得這一方法在實際工作中并不實用。

最后，生成模型會受到訓練序列中偏見的影響。有的對于構建上下文關系十分有利，但有的卻會造成不好的結果。例如在訓練數(shù)據(jù)中男性較多就會造成生成圖像中包含更多的或者完全都是男性，而不是有男有女的場景。在未來的研究中希望可以對數(shù)據(jù)進行更有效的除偏處理，并更好的理解數(shù)據(jù)偏見與模型的關系。

利用語言模型GPT對圖像進行處理的想法非常獨特，實驗也顯示了這種非監(jiān)督方法的對于全新領域的通用性，在提供足夠計算資源的情況下序列transformer也許能在未來為很多新領域提供解決問題新思路。

關于我“門”

將門是一家以專注于發(fā)掘、加速及投資技術驅動型創(chuàng)業(yè)公司的新型創(chuàng)投機構，旗下涵蓋將門創(chuàng)新服務、將門技術社群以及將門創(chuàng)投基金。將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。

將門創(chuàng)新服務專注于使創(chuàng)新的技術落地于真正的應用場景，激活和實現(xiàn)全新的商業(yè)價值，服務于行業(yè)領先企業(yè)和技術創(chuàng)新型創(chuàng)業(yè)公司。

將門技術社群專注于幫助技術創(chuàng)新型的創(chuàng)業(yè)公司提供來自產、學、研、創(chuàng)領域的核心技術專家的技術分享和學習內容，使創(chuàng)新成為持續(xù)的核心競爭力。

將門創(chuàng)投基金專注于投資通過技術創(chuàng)新激活商業(yè)場景，實現(xiàn)商業(yè)價值的初創(chuàng)企業(yè)，關注技術領域包括機器智能、物聯(lián)網、自然人機交互、企業(yè)計算。在近四年的時間里，將門創(chuàng)投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長潛力的技術型創(chuàng)業(yè)公司。