亚洲无码自拍偷拍精品视频,免费男同gay片av网站观看

當前位置： OFweek 人工智能網(wǎng) > 其他 > 正文

OpenAI提出Image GPT實現(xiàn)高質(zhì)量圖像補全和樣本生成

2020-07-17 10:13

將門創(chuàng)投

關(guān)注

模型直接生成的樣本也具有明顯的個體特征，包含著可以被清晰識別的目標個體，這說明模型的確理解了圖像中所包含的空間信息和不同目標的特征。

從語言跨界圖像的GPT

在語言領(lǐng)域，像GPT－2和BERT等依賴于詞預(yù)測的非監(jiān)督學習算法非常成功，在多個語言相關(guān)任務(wù)上取得了最好的表現(xiàn)。其中一個重要的原因在于下游任務(wù)（數(shù)據(jù)）是以自然的文本方式呈現(xiàn)的：答案往往伴隨著問題（問答任務(wù)），文章往往伴隨著總結(jié)（文本摘要任務(wù)）。而像素序列針對其所屬的圖像卻沒有非常明顯的標簽。

即使沒有這種隱式的監(jiān)督，GPT－2在圖像任務(wù)上成功的原因也不難發(fā)現(xiàn)：一個足夠大的transformer模型，用于訓練針對下一個像素的預(yù)測，最終能夠?qū)W會生成豐富的可以清晰辨認的目標樣本。

當模型可以有效合成圖像時，研究人員開始思考是不是可以通過“基于合成的分析”來嘗試利用模型識別目標的分類。先前很多生成模型都受到了這一觀點的啟發(fā)，最近的BigBiGAN就是一個典型的例子，可以產(chǎn)生非常有效的樣本和特征。在這一研究中，研究人員首先展示了更好的生成模型可以實現(xiàn)更強的分類表現(xiàn)，隨后通過對GPT－2生成能力的優(yōu)化，在很多情況下實現(xiàn)了最為優(yōu)異的分類表現(xiàn)，為基于合成的分析思想提供了更多的佐證。

邁向通用非監(jiān)督學習

生成序列模型可以被視為一種通用的非監(jiān)督學習算法：由于所有的數(shù)據(jù)類型都可以被標示為字節(jié)序列，無需額外的改動，transformer可以被直接應(yīng)用于任何類型的數(shù)據(jù)形式上。為了驗證這種算法的通用性，研究人員將原先用于自然語言處理的GPT－2的架構(gòu)直接應(yīng)用于圖像生成任務(wù)上，故意放棄了對圖像先驗知識的手動編碼（包括卷積、相關(guān)注意力、稀疏注意力、2D位置嵌入等等）。

但隨之而來的是，如果要實現(xiàn)具有競爭力的非監(jiān)督學習性能，就需要更多的計算量來保證�；趯Ρ鹊姆椒ㄔ趶膱D像生成高質(zhì)量特征的過程中的確具有更高的計算效率，然而在與最好的無監(jiān)督算法比較過程中，基于對領(lǐng)域知識的手工編碼和計算需求間可以找到有效的平衡。在沒有領(lǐng)域知識的全新領(lǐng)域，大規(guī)模的計算也許是解決問題值得一試的有效手段。