多視圖立體視覺(jué)是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要問(wèn)題，在三維重建、機(jī)器人導(dǎo)航和圖形學(xué)中都具有重要的應(yīng)用。而現(xiàn)有的多視圖深度估計(jì)方法一方面對(duì)于無(wú)紋理／弱紋理的區(qū)域、較細(xì)較薄的結(jié)構(gòu)無(wú)法很好的重建，同時(shí)會(huì)在一定程度上丟失三維形狀的邊角和平面信息，此外對(duì)于遮擋區(qū)域的深度估計(jì)還會(huì)存在一定的退化現(xiàn)象。

為了解決這一問(wèn)題，來(lái)自香港大學(xué)和馬普研究所的研究人員在深度估計(jì)模型中引入了融合表面法向量約束來(lái)更好地捕捉曲率變化劇烈和平面區(qū)域的信息，同時(shí)還引入了遮擋注意力策略來(lái)進(jìn)一步提升深度估計(jì)的精度。實(shí)驗(yàn)表明在這些方法的作用下，大幅度提升了單目多視圖的深度估計(jì)性能，并在多個(gè)測(cè)評(píng)指標(biāo)上超過(guò)了先前的深度估計(jì)方法。

多視圖深度估計(jì)

本文所要研究的問(wèn)題是利用單個(gè)移動(dòng)相機(jī)獲得的多視角視頻中估計(jì)出場(chǎng)景深度，但從彩色視頻序列中估計(jì)深度并不簡(jiǎn)單。傳統(tǒng)立體視覺(jué)方法無(wú)法處理無(wú)紋理區(qū)域、細(xì)薄結(jié)構(gòu)、銳利的形狀邊緣和非朗伯表面。雖然近年來(lái)深度學(xué)習(xí)方法利用逐像素的深度損失進(jìn)行端到端的訓(xùn)練得到了較為精確的結(jié)果，但還無(wú)法有效保持陡峭的邊、角、平面結(jié)構(gòu)等主要的形狀特征，而這對(duì)于場(chǎng)景的理解特別是室內(nèi)人造物件的重建至關(guān)重要。如何解決這些問(wèn)題，在深度估計(jì)過(guò)程中保持局部和全局的幾何特征就顯得尤為重要。

法向量可以編碼物體表面的角度信息，對(duì)于平面可以利用統(tǒng)一的法向量進(jìn)行約束，而對(duì)于劇烈變化的局部結(jié)構(gòu)也可以利用法向量中包含的角度信息進(jìn)行約束。所以在深度估計(jì)過(guò)程中，利用法向量作為深度外的另一個(gè)約束可以有效提升模型對(duì)于場(chǎng)景全局和細(xì)節(jié)的重建能力。

此外在多視角重建過(guò)程中，特定視角下某些區(qū)域會(huì)存在明顯的遮擋，這會(huì)造成不同視角下得到的深度在遮擋區(qū)域變換劇烈。同時(shí)遮擋和非遮擋區(qū)域?qū)τ谏疃裙烙?jì)的貢獻(xiàn)也各不相同，有效處理遮擋區(qū)域是高精度深度估計(jì)的另一個(gè)關(guān)鍵所在。

實(shí)現(xiàn)方法

為了解決這些問(wèn)題，本文提出了融合法向量（combined normal map， CNM）作為深度估計(jì)任務(wù)中的額外約束，同時(shí)利用遮擋注意力機(jī)制來(lái)處理遮擋對(duì)深度估計(jì)造成的影響，在進(jìn)一步優(yōu)化深度結(jié)果的同時(shí)還能給出遮擋概率圖。

下圖顯示了模型的完整結(jié)構(gòu)，分為單應(yīng)性變換、代價(jià)空間構(gòu)建、初始深度估計(jì)、遮擋注意力的深度優(yōu)化估計(jì)等主要部分。其中輸入包含一張位于時(shí)間軸中間的參考圖像和偶數(shù)張?jiān)磮D像。在單應(yīng)性變換的作用下，每一張?jiān)磮D像與參考圖像都可以在采樣深度上生成代價(jià)空間，而后利用DepthNet進(jìn)行初始深度估計(jì)，并使用CNM和深度的L1損失進(jìn)行訓(xùn)練。在獲取初始深度后，多視角的代價(jià)空間進(jìn)行融合并與預(yù)測(cè)出的深度圖一同送入優(yōu)化網(wǎng)絡(luò)中進(jìn)行處理，在遮擋注意力機(jī)制的作用下，提升深度估計(jì)的精度，并同時(shí)給出遮擋概率圖。這一部分訓(xùn)練同時(shí)由深度、法向量和遮擋進(jìn)行約束。

下面我們將利用最簡(jiǎn)單的三視圖情況作為例子來(lái)對(duì)每一個(gè)細(xì)節(jié)進(jìn)行深入地探討。其中中間視圖作為參考視圖，前后兩張則作為源視圖。首先需要利用單應(yīng)性變換將源視圖變化到參考視圖的坐標(biāo)下、一系列相互平行的深度采樣平面上去，將任意一張?jiān)匆晥D變換到給定深度上并與對(duì)應(yīng)位置的參考視圖配對(duì)，通過(guò)計(jì)算在不同深度上計(jì)算視覺(jué)連續(xù)連續(xù)性來(lái)構(gòu)建出WxHxD的代價(jià)空間，其中W，H為圖像的長(zhǎng)寬，D為深度采樣的數(shù)量。與先前從圖像對(duì)中抽取4D的代價(jià)空間不同，這種直接基于圖像對(duì)計(jì)算代價(jià)空間的方法避免了3D卷積對(duì)于計(jì)算資源和時(shí)間的消耗。

在獲取代價(jià)空間后，研究人員使用了DepthNet對(duì)代價(jià)空間進(jìn)行聚合，以得到初始的深度信息。需要注意的是，這一部分的輸入還包含了對(duì)應(yīng)的視圖，以便充分利用圖像中所包含的上下文信息。最終，模塊輸出的初始深度圖為與參考圖像視角下。

為了保留場(chǎng)景更多的局部和全局結(jié)構(gòu)信息，研究人員還引入了CNM來(lái)作為基準(zhǔn)來(lái)監(jiān)督法向量約束。一方面通過(guò)PlaneCNN來(lái)抽取場(chǎng)景的平面區(qū)域，并利用區(qū)域平均法向量來(lái)為這一區(qū)域賦值；另一方面利用局域法向量計(jì)算方法來(lái)獲取非平面區(qū)域的法向量。最主要的目的是利用局部表面法向量來(lái)捕捉局部曲率較高的幾何結(jié)構(gòu)，而用平均法向量來(lái)去除平面區(qū)域的噪聲保留全局結(jié)構(gòu)。最終在深度的L1損失和融合法相量CNM的約束下得到了效果較好的深度估計(jì)結(jié)果，下面顯示了兩部分損失的定義：

為了進(jìn)一步提升深度估計(jì)的精度，在提升部分RefineNet則利用了遮擋注意力機(jī)制來(lái)進(jìn)一步優(yōu)化模型性能。

將上一步得到的初始深度圖合并為一張深度圖并與平均代價(jià)空間一同送入優(yōu)化網(wǎng)絡(luò)進(jìn)行處理。其中優(yōu)化網(wǎng)絡(luò)包含兩個(gè)解碼器，分別用于深度估計(jì)和遮擋概率估計(jì)。

深度圖中的遮擋區(qū)域不能同時(shí)在兩張初始深度圖中觀察到，與平等處理所有像素處的深度不同的是在計(jì)算損失時(shí)，為遮擋區(qū)域的賦予較低的權(quán)重，而非遮擋區(qū)域權(quán)重較高（非遮擋區(qū)域較為可靠）。此外得到的遮擋概率圖還可以用于濾除一些不靠譜的深度估計(jì)結(jié)果，并有助于從深度圖進(jìn)行三維重建。