訂閱
糾錯
加入自媒體

谷歌提出Context R-CNN, 利用時域上下文信息的增強目標(biāo)檢測系統(tǒng)

這種方法超過了僅僅使用單幀圖像的FasterR-CNN方法,在多個生態(tài)環(huán)境圖像檢測領(lǐng)域內(nèi)都具有明顯的優(yōu)勢。研究人員已將模型整合到TF Object Detection API中,為相關(guān)研究人員提供更為簡化的訓(xùn)練和部署。

上圖中顯示了上下文信息(長達一個月)是如何幫助專家確定模糊場景中的動物的。上下文中目標(biāo)形狀、尺寸、每天固定的食草時間幫助算法確定這是角馬。

上下文R-CNN模型

上下文R-CNN主要利用靜態(tài)相機拍攝圖像序列間的高度相關(guān)性,在無需額外人工標(biāo)注數(shù)據(jù)的情況下提升算法在復(fù)雜情況下的性能,同時改善在新的相機設(shè)置下的泛化性。與Faster R-CNN類似,它也采用了兩階段目標(biāo)檢測架構(gòu)。

上圖顯示了上下文R-CNN的頂層架構(gòu),顯示了檢測模型與長期上下文信息如何有效系統(tǒng)提升性能。

為了抽取某一相機的上下文信息,研究人員首先利用參數(shù)固定的特征抽取器從較大的時間跨度中構(gòu)建出上下文存儲空間(下圖中M);隨后每幅圖像在對應(yīng)上下文信息聚合的幫助下,上下文R-CNN將會更好地在復(fù)雜情況下對目標(biāo)進行檢測(包括低光、濃霧、模糊等場景)。這種聚合利用attention方式實現(xiàn),它對靜態(tài)相機中出現(xiàn)的稀疏和非規(guī)則采樣具有較好的魯棒性。

第一階段的Faster R-CNN將提出潛在目標(biāo),而第二階段將對每個候選目標(biāo)進行分類。在Context R-CNN中針對第一階段的候選目標(biāo),使用基于相似性的注意力機制來確定當(dāng)前目標(biāo)與記憶池中特征的相關(guān)性。隨后利用相關(guān)性權(quán)重加權(quán)記憶池中的特征來構(gòu)建針對這一目標(biāo)的上下文特征,并將其添加到原始的目標(biāo)特征后,送入第二階段的Faster R-CNN中進行最終的分類。

Context R-CNN將近一個月的上下文信息用于幫助分類當(dāng)前目標(biāo)。綠色數(shù)字顯示了每個記憶特征與當(dāng)前目標(biāo)的注意力相關(guān)性權(quán)重。

<上一頁  1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標(biāo)題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號