實驗分析

我們在SUN RGB－D和Pix3D數(shù)據(jù)集上進(jìn)行了實驗。SUN RGB－D是真實的場景數(shù)據(jù)集，包含10335張真實的室內(nèi)圖片，及其對應(yīng)的房間布局、物體包圍盒和粗糙點云。Pix3D有約400個較精細(xì)的家具模型，對應(yīng)著約10000張真實圖片。要重建出較好的物體三維形狀，我們需要較好的三維GT，所以我們先用Pix3D對MGN進(jìn)行預(yù)訓(xùn)練。LEN和ODN則在SUN RGB－D上被預(yù)訓(xùn)練，然后將它們與MGN整合在一起，在SUN RGB－D上Fine－tuning。另外，二維包圍盒檢測網(wǎng)絡(luò) （Faster R－CNN） 會在COCO上預(yù)訓(xùn)練，在SUN RGB－D上Fine－tuning。關(guān)于詳細(xì)的訓(xùn)練策略、參數(shù)和效率，請查看我們的論文和補充材料。

聯(lián)合學(xué)習(xí)對三個子任務(wù)均有影響。我們的方法在三維布局及相機(jī)姿態(tài)（表1）、三維物體包圍盒檢測（表2、表3）、物體重建（表4）上均達(dá)到了SOTA。

布局估計：

我們將本文方法與現(xiàn)有的布局理解工作進(jìn)行了比較。如表1所示，對房間布局、對象包圍盒和網(wǎng)格進(jìn)行聯(lián)合訓(xùn)練有助于提高布局估計精度，比現(xiàn)有方法提高了2％。

相機(jī)姿態(tài)估計：相機(jī)姿態(tài)由R（β，γ）定義，因此我們用GT和估計出的俯仰角β及橫滾角γ間的平均絕對誤差來衡量估計精度。結(jié)果（表1）表明，聯(lián)合學(xué)習(xí)也有利于相機(jī)姿態(tài)估計。

表1． SUN－RGB－D三維布局與相機(jī)姿態(tài)估計的比較。

三維目標(biāo)檢測：

表2比較了本文方法與現(xiàn)有方法對各類物體的檢測結(jié)果。比較表明，我們的方法較最新的方法有了顯著的改進(jìn)，并且效果也優(yōu)于現(xiàn)有方法的加強(qiáng)版本。原因有兩方面：一是聯(lián)合學(xué)習(xí)中的全局損失涉及幾何約束，保證了預(yù)測結(jié)果的幾何合理性；二是ODN中的多邊關(guān)系特征有利于預(yù)測空間占有（spatia1 occupancy），提升了三維目標(biāo)檢測的精度。在表3對物體姿勢預(yù)測的比較中，我們使用物體的平移、旋轉(zhuǎn)和縮放誤差作為指標(biāo)。結(jié)果表明，該方法不僅能獲得合理的空間占有率（mAP），而且能獲得更精確的物體姿態(tài)。

表2． 3D物體檢測比較。

表3． 物體姿態(tài)預(yù)測比較。

網(wǎng)格重建：

表4中物體形狀重建的比較指標(biāo)為樣本到重建網(wǎng)格的Chamfer距離。結(jié)果表明，本文的剪邊及局部密度策略均可提高平均精度�？赡艿脑�因是使用局部密度可以保持小規(guī)模拓?fù)浣Y(jié)構(gòu)，而且剪邊對避免錯誤的拓?fù)湫薷母�魯棒�?/p>

表4． Pix3D物體重建比較。

通過圖5在網(wǎng)格級別的比較可以看出，我們的MGN對重建結(jié)果拓?fù)浣Y(jié)構(gòu)的控制更優(yōu)秀。圖6也表明，我們的聯(lián)合學(xué)習(xí)方法可以得到合理的整體三維重建結(jié)果。

消融實驗

為了觀察每個點的重要性，我們對比了以下幾種網(wǎng)絡(luò)配置：

C0：不使用多邊關(guān)聯(lián)特征（ODN）和聯(lián)合訓(xùn)練（Baseline）；

C1：Baseline＋關(guān)聯(lián)特征；

C2：Baseline＋ 聯(lián)合訓(xùn)練只使用cooperative loss Lco；

C3：Baseline＋ 聯(lián)合訓(xùn)練只使用global loss Lg；

C4：Baseline＋ 聯(lián)合訓(xùn)練（Lco ＋ Lg）；

Full：Baseline＋關(guān)聯(lián)特征＋聯(lián)合訓(xùn)練。

對比結(jié)果如表5所示。通過對比C0 v．s． C4 和C1 v．s． Full可以發(fā)現(xiàn)不管用不用關(guān)聯(lián)特征，聯(lián)合訓(xùn)練對三個子網(wǎng)絡(luò)均有提升。C0 v．s．C1 和C4 v．s． Full的對比說明使用關(guān)聯(lián)特征能提高ODN及MGN的效果。C0 v．s． C2 和C0 v．s． C3的比較說明Lco 和 Lg對最終的結(jié)果均有積極影響，如果聯(lián)合使用，效果更佳。我們還發(fā)現(xiàn)Lg隨著目標(biāo)檢測性能的提高而減小，這與物體對齊對網(wǎng)格重建有顯著影響的直覺是一致的。在SUN RGB－D數(shù)據(jù)集上Fine－tuning MGN不能提升Pix3D數(shù)據(jù)集上單個物體重建的精度，這反映出物體重建依賴于高質(zhì)量網(wǎng)格的良好監(jiān)督。以上內(nèi)容說明，對所有子任務(wù)進(jìn)行聯(lián)合學(xué)習(xí)是進(jìn)行整體場景三維理解與重建的一個可行的解決方案。

表5． SUN RGB－D消融實驗（Scene mesh需乘以10－2）。