對于網(wǎng)格形式的3D數(shù)據(jù)學(xué)習(xí)一直以來是三維深度學(xué)習(xí)研究的重點(diǎn)，網(wǎng)格的復(fù)雜性和不規(guī)則性使得通常的卷積網(wǎng)絡(luò)無法有效的應(yīng)用。為此來自德國亞琛工業(yè)大學(xué)的研究人員們提出了一種集成測地線卷積和歐幾里得卷積的層級卷積模型DualConvMesh－Net，用于處理三維幾何數(shù)據(jù)，其中定義在網(wǎng)格表面的測地線卷積可以將作用于給定網(wǎng)格的局域表面，更加注重對于不同目標(biāo)的編碼與分離；而定義在鄰域的歐幾里得卷積則獨(dú)立于表面結(jié)構(gòu)，著重于分析區(qū)域內(nèi)點(diǎn)之間的相互關(guān)系、編碼鄰近目標(biāo)間的相關(guān)性，而不注重目標(biāo)的獨(dú)立性。

通過有效結(jié)合歐幾里得卷積和測地線卷積，基于層級結(jié)構(gòu)實(shí)現(xiàn)多尺度多分辨率的網(wǎng)格分析，最終大幅度提升了三維語義分割任務(wù)的性能，并在多個(gè)數(shù)據(jù)集上取得了優(yōu)異的結(jié)果。

向三維幾何進(jìn)軍的深度學(xué)習(xí)

隨著深度學(xué)習(xí)在圖像領(lǐng)域取得了令人矚目的成就，研究人員們也逐漸開始將深度學(xué)習(xí)方法特別是卷積神經(jīng)網(wǎng)絡(luò)從規(guī)則、離散的音頻、圖像和體素領(lǐng)域，向非規(guī)則的幾何數(shù)據(jù)上進(jìn)行應(yīng)用。典型的幾何數(shù)據(jù)包括圖結(jié)構(gòu)、點(diǎn)云和3D網(wǎng)格等，目前針對這一領(lǐng)域的研究基于數(shù)據(jù)表示的不同主要分為兩大方向：3D場景理解和3D形狀分析。

其中3D場景理解的主要任務(wù)包括語義分割、實(shí)例分割、部件分割等等，所面對的通常是點(diǎn)云數(shù)據(jù)。人們常常將原始點(diǎn)云轉(zhuǎn)換到規(guī)則的離散三維柵格中，以便標(biāo)準(zhǔn)的3D卷積處理。而直接處理點(diǎn)云顯然是一種更為便捷的方法，但最大的挑戰(zhàn)則來自于如何將卷積作用于非規(guī)則的點(diǎn)集上。這種方式通常將卷積核作用于利用球或者K最鄰近等歐幾里得方法得到的鄰域點(diǎn)集中。這種基于歐式距離的歐式卷積關(guān)注與點(diǎn)與點(diǎn)之間的相互關(guān)系，還對表面形變非常敏感。

與三維場景理解不同的是，三維形狀分析主要集中于形狀關(guān)系、形狀描述和檢索方面，主要關(guān)注以網(wǎng)格或者圖形式所編碼的表面信息。這種情況下，卷積核通常定義在網(wǎng)格或者圖的局域片層上，通過測地線距離來進(jìn)行定位和聯(lián)系（可以理解為沿著物體表面連接兩個(gè)節(jié)點(diǎn)見最短的邊）。這種方式的卷積被稱為測地線卷積，其最主要的特性是對于曲面形變具有不變形的特點(diǎn)，因此非常適合與獨(dú)立個(gè)體的描述與辨別。

上圖彩色梯度顯示了兩種不同卷積的特點(diǎn)，可以看到測地線距離可以有效分離出獨(dú)立的個(gè)體，它專注于沿著表面進(jìn)行學(xué)習(xí)；而歐式距離則更多地專注于空間相關(guān)性，可以銜接起小部分的缺失，以便學(xué)習(xí)到更多的上下文信息，補(bǔ)全缺失部分。

在這篇文章中，研究人員探索了上述的兩種卷積在三維網(wǎng)格語義分割任務(wù)中的應(yīng)用。目前絕大多數(shù)方法都基于歐式卷積，很少有利用測地線方法來進(jìn)行的研究。歐式卷積主要專注于上下文和鄰域信息的學(xué)習(xí)，而測地線距離則主要針對特定目標(biāo)，沿著其表面進(jìn)行形狀學(xué)習(xí)。這兩種方法各有優(yōu)劣，那么如何將他們的優(yōu)勢結(jié)合起來提升模型性能呢？

為了解決這一問題，建立結(jié)合兩種卷積的綜合架構(gòu)，研究人員提出了DualConvMesh－Net，在網(wǎng)格數(shù)據(jù)下利用兩種卷積對幾何結(jié)構(gòu)進(jìn)行綜合學(xué)習(xí)與處理。為了在不同尺度上對歐式特征和測地線特征進(jìn)行學(xué)習(xí)，不僅構(gòu)建了層級網(wǎng)絡(luò)架構(gòu)，同時(shí)提出網(wǎng)格池化算法來在各個(gè)層級上簡化并保留重要的網(wǎng)格結(jié)構(gòu)。下面就詳細(xì)地了解模型如何融合不同卷積方法并對網(wǎng)格進(jìn)行簡化和學(xué)習(xí)的。

DualConvMesh－Net

本文提出的DualConvMesh－Net（DCM－Nets）是一類層級深度網(wǎng)絡(luò)架構(gòu)，它結(jié)合了測地線圖卷積在3D表面網(wǎng)格上的優(yōu)勢和歐幾里得圖卷積在空間域中3D頂點(diǎn)上的優(yōu)勢。網(wǎng)絡(luò)的輸入是包含了頂點(diǎn)信息的網(wǎng)格、輸入則是包含頂點(diǎn)特征的網(wǎng)格，可以有效用于稠密預(yù)測任務(wù)。網(wǎng)絡(luò)通過模塊化的形式構(gòu)建，具有容易集成與測評的優(yōu)勢。

本文提出的主體網(wǎng)絡(luò)架構(gòu)如下圖所示，在編碼器解碼器架構(gòu)的基礎(chǔ)上添加了銜接的殘差結(jié)構(gòu)，便于訓(xùn)練收斂。可以看到網(wǎng)絡(luò)由多個(gè)層級組成，每個(gè)層級中包含了多個(gè)疊加的DualConv結(jié)構(gòu)。在DualConv結(jié)構(gòu)中，測地線卷積和歐式卷積并行作用，并將得到的特征圖進(jìn)行銜接輸出。而針對不同尺度的網(wǎng)格，則需要利用池化算法來對網(wǎng)格進(jìn)行簡化。

針對歐幾里得圖卷積和測地線圖卷積，針對某個(gè)尺度的網(wǎng)格來說其頂點(diǎn)（Vertex）為歐式空間中的點(diǎn)集，而其邊則分為了基于knn或者一定鄰域半徑內(nèi)得到的歐幾里得形式的邊，以及基于網(wǎng)格上的面而得到的測地線邊（Edge）．而最終卷積作用于與頂點(diǎn)對應(yīng)的特征xi上，輸出yi為頂點(diǎn)vi的對應(yīng)特征：

其中N表示頂點(diǎn)附近的鄰域，φ為訓(xùn)練的非線性映射函數(shù)。值得注意的是，卷積核參數(shù)θ的數(shù)量與核的大小無關(guān)，同時(shí)歸一化的分母提高了卷積對于不同鄰域數(shù)量的魯棒性。針對網(wǎng)絡(luò)最開始的卷積層，定義了僅僅依賴邊緣信息具有不變形的卷積操作，僅僅輸入xj－xi，而去除了包含絕對位置的初始特征xi。這樣的改變是的模型可以在場景的片層上訓(xùn)練，但同時(shí)可以在完整的結(jié)構(gòu)上進(jìn)行測評，不僅為每個(gè)頂點(diǎn)帶來更廣的上下文區(qū)域，同時(shí)也減少了運(yùn)行時(shí)間。此外對于初始?xì)W幾里得與側(cè)地線空間鄰域的復(fù)用則使得更深的圖卷積成為可能，同時(shí)也減少了運(yùn)行的內(nèi)存需求提高的計(jì)算速度。