針對(duì)圖像分支，研究人員使用了圖像遷移網(wǎng)絡(luò)模塊來(lái)繪制對(duì)應(yīng)的線條表示。其輸入包含了給定視角下的深度圖和六個(gè)不同尺度的渲染結(jié)果，它們一同堆疊在一起同時(shí)輸入到類似pix2pixHD的編解碼器中，得到圖像分支的線條結(jié)果。

隨后將幾何分支和圖像分支的線稿圖通過(guò)最大化的方式合并在一起最終得到線稿繪制結(jié)果。閾值參數(shù)對(duì)于幾何線條的去留十分重要，它決定了幾何線條以多大的程度為最終圖像做出貢獻(xiàn)。研究人員在測(cè)試的時(shí)候?qū)⒂?jì)算這一閾值，由于不同的三維模型在渲染時(shí)可能有不同的幾何線條組合，研究人員使用了神經(jīng)排序模塊NRM來(lái)為繪制的線稿評(píng)分，在測(cè)試時(shí)閾值t就被用于對(duì)NRM分值進(jìn)行優(yōu)化。

實(shí)驗(yàn)和結(jié)果

為了對(duì)這一模型進(jìn)行訓(xùn)練，由于缺乏大規(guī)模的針對(duì)三維形狀的手繪線稿，研究人員通過(guò)合成的方法生成了自己的數(shù)據(jù)集。針對(duì)每一個(gè)形狀，利用不同的閾值和線條的結(jié)合生成一系列線稿，隨后請(qǐng)志愿者對(duì)結(jié)果進(jìn)行選擇，通過(guò)多人多次投票的方法來(lái)選出最好的線稿結(jié)果作為基準(zhǔn)。下圖顯示了本文中使用了眾包軟件，從多個(gè)結(jié)果中基于人類投票選擇得到基準(zhǔn)線稿數(shù)據(jù)。

研究中所使用的數(shù)據(jù)來(lái)自于ShapeNet、Models Resource和Thingi10K等數(shù)據(jù)集，在數(shù)據(jù)集中針對(duì)每一個(gè)類別進(jìn)行采樣避免類別間的不均衡，移除了重復(fù)和低分辨率的形狀，并修正了網(wǎng)格面元和連接的缺陷，最終得到了23，477個(gè)形狀。

為了生成候選的線稿圖案，研究人員針對(duì)每一個(gè)3D模型選擇了兩個(gè)隨機(jī)相機(jī)位姿，在一系列約束下每個(gè)相機(jī)生成256中可能的合成線稿結(jié)果。同時(shí)他們還利用了Canny算子和保邊濾波器來(lái)對(duì)三維形狀渲染的圖像進(jìn)行處理，這種方法針對(duì)形狀在每個(gè)視點(diǎn)下得到了256個(gè)可能的線稿結(jié)果，并從中選出8個(gè)最獨(dú)特的線稿。在獲得了一系列線稿數(shù)據(jù)的基礎(chǔ)上，項(xiàng)目利用亞馬遜的MTurk系統(tǒng)來(lái)利用眾包方式選出針對(duì)每個(gè)形狀在特定視角下效果最好的線稿作為基準(zhǔn)數(shù)據(jù)。

在經(jīng)過(guò)充分地訓(xùn)練后，這一模型在視覺(jué)上和各種指標(biāo)下都取得了良好的效果，下圖顯示了針對(duì)一個(gè)曲面得到的線稿結(jié)果，可以看到本文的方法不僅使生成的線稿線條更為連續(xù)順滑，而且可以很好地反映曲面的隱含特征。