模型實(shí)現(xiàn)

本文的任務(wù)是在給定包含T幀的圖像序列下，將每一幀分解為清晰的背景圖像和各種原因造成的遮擋層。將圖像分解為背景層和遮擋層是十分困難的任務(wù)，因?yàn)閮蓪釉谳斎雸D像中是強(qiáng)耦合的，同時(shí)也需要解決兩個(gè)強(qiáng)耦合的問題：光流分解和每層的重建。

如果沒有好的光流分解，不精確的運(yùn)動(dòng)估計(jì)將會(huì)使得每層無法精確地重建。但另一方面，沒有良好重建的背景層和遮擋層，混合的圖像無法精確估計(jì)出代表運(yùn)動(dòng)的光流。我們所面臨的是一個(gè)雞生蛋蛋生雞的悖論問題，無法堅(jiān)實(shí)地選擇先重建光流還是兩層圖像。

為了解決這一問題，本文嘗試?yán)�用三個(gè)模塊構(gòu)建的深度學(xué)習(xí)模型來處理。模型主要包括初始光流分解、背景－遮擋層重建以及光流優(yōu)化三個(gè)部分。首先在在粗糙的層級(jí)上估計(jì)光流，來作為初始光流；而后漸進(jìn)的重建遮擋和背景層，并對(duì)前景和背景的光流運(yùn)動(dòng)場(chǎng)進(jìn)行優(yōu)化。在每一層級(jí)上，利用前一層的結(jié)果和重建模塊來重建背景和前景遮擋層，并利用PWC－Net來預(yù)測(cè)兩層優(yōu)化后的光流結(jié)果。

首先我們來分析初始光流分解模塊的構(gòu)成。首先需要在粗糙的層級(jí)上對(duì)前景和背景光流進(jìn)行預(yù)測(cè)，針對(duì)每一層提出了均勻運(yùn)動(dòng)矢量來代替稠密光流場(chǎng)的估計(jì)。初始光流模塊分為特征抽取和層流估計(jì)器兩個(gè)模塊。特征抽取器對(duì)輸入幀特征進(jìn)行特征抽取得到尺度大小的特征圖結(jié)果。隨后利用協(xié)方差重建出第k幀和第j幀間的損失，其中和代表抽取出的特征，x代表像素的位置。構(gòu)建的cost volum與特征合并在一起輸入層（光）流估計(jì)模塊。

層流估計(jì)器利用全局池化和全連接層生成兩個(gè)全局運(yùn)動(dòng)矢量。隨后將全局運(yùn)動(dòng)矢量轉(zhuǎn)換為兩個(gè)均勻運(yùn)動(dòng)場(chǎng)，其空間分辨率為輸入的，針對(duì)初始化層來說，得到背景層和遮擋／反射層的初始運(yùn)動(dòng)光流場(chǎng)為，。

下圖顯示了初始分解模塊的細(xì)節(jié)：

在前景和反射層初始流估計(jì)后，就需要對(duì)每一層的圖像進(jìn)行重建了。雖然都是對(duì)圖像進(jìn)行重建，前景和背景具有不同的特點(diǎn)。背景圖像通常在圖像中占據(jù)主要位置，而反射層圖像則通常較暗也較為模糊。所以分別訓(xùn)練了兩個(gè)網(wǎng)絡(luò)來重建前景和背景圖像。下圖以背景重建網(wǎng)絡(luò)作為例子，前景重建網(wǎng)絡(luò)也具有相同的結(jié)構(gòu)。

首先將上一層級(jí)重建得到關(guān)鍵幀的背景與反射圖像，以及得到的背景流結(jié)果進(jìn)行二倍上采樣；一方面使用上一層級(jí)的背景流與當(dāng)前層級(jí)的輸入圖像基于關(guān)鍵幀進(jìn)行變換與對(duì)齊得到背景注冊(cè)的幀序列；隨后計(jì)算出被遮擋或者其他問題造成的失效掩膜序列，并利用關(guān)鍵幀計(jì)算出差異圖序列；隨后失效掩膜序列、差異圖序列、上采樣后的上一層級(jí)關(guān)鍵幀反射與背景圖一同疊加送入到背景重建網(wǎng)絡(luò)中；最后通過疊加背景重建網(wǎng)絡(luò)得到的殘差與當(dāng)前層級(jí)關(guān)鍵幀上采樣背景圖來得到重建后的背景圖結(jié)果。

在對(duì)每一層圖像進(jìn)行重建后，還需要對(duì)光流進(jìn)行優(yōu)化。這一部分主要利用預(yù)訓(xùn)練的PWC－Net來估計(jì)背景圖像間的光流場(chǎng)，值得一提的是此處PWC－Net的權(quán)重固定不參與訓(xùn)練：

為了改善訓(xùn)練的穩(wěn)定性，研究人員首先對(duì)初始光流分解模塊進(jìn)行訓(xùn)練；隨后將初始光流分解網(wǎng)絡(luò)固定，對(duì)圖像重建網(wǎng)絡(luò)進(jìn)行進(jìn)一步訓(xùn)練。在訓(xùn)練過程中，研究人員基于Vimeo－90k數(shù)據(jù)集進(jìn)行了訓(xùn)練數(shù)據(jù)合成，通過隨機(jī)變換與裁剪，結(jié)合反射圖像合成模型來構(gòu)建數(shù)據(jù)集。

在模型構(gòu)建后，為了提升在真實(shí)圖像序列上的性能，研究人員還采用了無監(jiān)督的方法來對(duì)最終結(jié)果進(jìn)行在線優(yōu)化：

上面的連續(xù)性損失主要基于這樣的考慮，預(yù)測(cè)出的背景和遮擋結(jié)果應(yīng)該可以重新變換回輸入結(jié)果。此外還加入了總變分損失來鼓勵(lì)網(wǎng)絡(luò)盡可能生成自然的圖像。

為了展示這種方法的廣泛適用性，研究人員針對(duì)反射、遮擋和雨滴等情況進(jìn)行了實(shí)驗(yàn)。特別需要指出的是，在針對(duì)圖像遮擋移除時(shí)模型只需要重建背景層，而無需再對(duì)遮擋層進(jìn)行光流和圖像重建。背景重建網(wǎng)絡(luò)只需要增加一個(gè)alpha通道來分割出障礙層。這樣細(xì)微地改造后使得網(wǎng)絡(luò)可以有效處理籬笆金屬網(wǎng)以及雨滴遮擋等問題。