將三維形貌轉為藝術簡體畫?神經輪廓算法助力繪制三維形狀精準輪廓
針對圖像分支,研究人員使用了圖像遷移網絡模塊來繪制對應的線條表示。其輸入包含了給定視角下的深度圖和六個不同尺度的渲染結果,它們一同堆疊在一起同時輸入到類似pix2pixHD的編解碼器中,得到圖像分支的線條結果。
隨后將幾何分支和圖像分支的線稿圖通過最大化的方式合并在一起最終得到線稿繪制結果。閾值參數(shù)對于幾何線條的去留十分重要,它決定了幾何線條以多大的程度為最終圖像做出貢獻。研究人員在測試的時候將計算這一閾值,由于不同的三維模型在渲染時可能有不同的幾何線條組合,研究人員使用了神經排序模塊NRM來為繪制的線稿評分,在測試時閾值t就被用于對NRM分值進行優(yōu)化。
實驗和結果
為了對這一模型進行訓練,由于缺乏大規(guī)模的針對三維形狀的手繪線稿,研究人員通過合成的方法生成了自己的數(shù)據(jù)集。針對每一個形狀,利用不同的閾值和線條的結合生成一系列線稿,隨后請志愿者對結果進行選擇,通過多人多次投票的方法來選出最好的線稿結果作為基準。下圖顯示了本文中使用了眾包軟件,從多個結果中基于人類投票選擇得到基準線稿數(shù)據(jù)。
研究中所使用的數(shù)據(jù)來自于ShapeNet、Models Resource和Thingi10K等數(shù)據(jù)集,在數(shù)據(jù)集中針對每一個類別進行采樣避免類別間的不均衡,移除了重復和低分辨率的形狀,并修正了網格面元和連接的缺陷,最終得到了23,477個形狀。
為了生成候選的線稿圖案,研究人員針對每一個3D模型選擇了兩個隨機相機位姿,在一系列約束下每個相機生成256中可能的合成線稿結果。同時他們還利用了Canny算子和保邊濾波器來對三維形狀渲染的圖像進行處理,這種方法針對形狀在每個視點下得到了256個可能的線稿結果,并從中選出8個最獨特的線稿。在獲得了一系列線稿數(shù)據(jù)的基礎上,項目利用亞馬遜的MTurk系統(tǒng)來利用眾包方式選出針對每個形狀在特定視角下效果最好的線稿作為基準數(shù)據(jù)。
在經過充分地訓練后,這一模型在視覺上和各種指標下都取得了良好的效果,下圖顯示了針對一個曲面得到的線稿結果,可以看到本文的方法不僅使生成的線稿線條更為連續(xù)順滑,而且可以很好地反映曲面的隱含特征。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網產業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
精彩回顧立即查看>> 【限時免費下載】TE暖通空調系統(tǒng)高效可靠的組件解決方案
推薦專題
-
5 夾縫中的文遠知行
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市