動態(tài)生成掩膜預(yù)測網(wǎng)絡(luò)生成模型CondInst，助力FCN重奪實例檢測顛峰
CondInst的主要架構(gòu)，C表示主干網(wǎng)絡(luò)的特征圖，P則為FPN的特征圖。Fmask是對應(yīng)的特征圖。head被作用于各個特征圖P得到分類結(jié)果和對應(yīng)的網(wǎng)絡(luò)頭生成參數(shù)（動態(tài)生成的maskFCN個數(shù)與實例個數(shù)相同）。
CondInst中使用了依賴實例的濾波器，隱式地將實例概念編碼到了mask頭的參數(shù)中去，更為靈活的處理。針對非規(guī)則形狀可以比規(guī)則的bbox更好的進行處理，這是相較于ROI方法的優(yōu)勢之一。
CondInst構(gòu)建與目標檢測架構(gòu)FCOS上，充分利用其簡單和靈活性。去除了FCOS的錨分支減少計算量。上圖中顯示了模型充分利用了特征金字塔，在每一層級都會有上圖虛線框中表示的功能層來進行實例相關(guān)的預(yù)測，計算出目標類別的實例和動態(tài)生成濾波器的參數(shù)。上圖中還包括了mask分支從P3層引出來計算特征圖。
最終輸出的掩膜大小是原始圖像的1／8．為了獲取高分辨率的實例掩膜，利用4倍上采樣來得到最終的掩膜圖像。
實 驗
為了充分研究這一模型的有效性，研究人員在COCO數(shù)據(jù)集上對模型進行了訓練。首先測試了mask端的寬度和深度，來選擇最為合適的架構(gòu)大小。
實驗表明深度為1效果最差，這是由于模型沒有足夠的容量，而達到3后則增加不明顯甚至下降。針對模型的寬度研究發(fā)現(xiàn)，這一因素對于模型的性能影響較小。針對寬度為8深度為3的基線mask head模型，在V100上其運行時間僅僅需要4．5mm／100個實例，僅需要169個參數(shù)。這說明這種動態(tài)生成方法對主干網(wǎng)絡(luò)造成的額外開銷非常少，與之對比的是Mask R－CNN的mask head則包含有2．3M個參數(shù)。
在選擇完合適的參數(shù)后，研究人員將設(shè)計好的架構(gòu)與多種先進的方法進行了比較，下表中可以看到這種方法在性能上超過了傳統(tǒng)的實例分割算法：
其中1x 代表90k迭代訓練。aug代表了數(shù)據(jù)增強。w／sem是指利用了輔助的語義分割任務(wù)。
最后來一起看看這種緊湊高效的網(wǎng)絡(luò)結(jié)果，性能優(yōu)異速度又快，真香！
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 傳魏建軍與賈躍亭合作，長城汽車出海美國
- 2 黃仁勛：與雷軍長期合作，共探AI智駕
- 3 阿里首位程序員，“掃地僧”多隆已離職
- 4 DeepSeek R2加持，中國AI與芯片產(chǎn)業(yè)迎來新一輪協(xié)同進化
- 5 先進算力新選擇 | 2025華為算力場景發(fā)布會暨北京xPN伙伴大會成功舉辦
- 6 六大國產(chǎn)大模型，誰是最強“金融分析師”？|錦緞評測
- 7 2025年第一支10倍股，來了！
- 8 募資39.85億元！寒武紀押注大模型芯片與軟件平臺
- 9 國內(nèi)免費版Deep Research上線，秘塔AI深度研究嘗試重塑知識工作范式
- 10 清華跑出具身智能獨角獸：給機器人安上眼睛和大腦，融資近20億
