訂閱
糾錯(cuò)
加入自媒體

碼隆科技提出跨越時(shí)空的樣本配對(duì),解決深度度量學(xué)習(xí)痛點(diǎn)

作者: 將門投資企業(yè) 碼隆科技研究團(tuán)隊(duì)將門好聲音第·54·期CVPR 2020系列分享第·13·期將門投資企業(yè)——碼隆科技今年在 CVPR 多有斬獲。在大會(huì)論文接受率僅有 22%、被稱為“十年來最難的一屆”的情況下,有兩篇論文入選 CVPR 2020,本文將為大家解讀其中一篇Oral:《Cross-Batch Memory for Embedding Learning》 。

導(dǎo)讀:

該論文提出了 XBM 方法,能夠用極小的代價(jià),提供巨量的樣本對(duì),為 pair-based 的深度度量學(xué)習(xí)方法取得巨大的效果提升。

這種提升難例挖掘效果的方式突破了過去兩個(gè)傳統(tǒng)思路:加權(quán)和聚類,并且效果也更加簡(jiǎn)單、直接,很好地解決了深度度量學(xué)習(xí)的痛點(diǎn)。XBM 在多個(gè)國際通用的圖像搜索標(biāo)準(zhǔn)數(shù)據(jù)庫上(比如 SOP、In-Shop 和 VehicleID 等),取得了目前最好的結(jié)果。

一、背景和動(dòng)機(jī)

難例挖掘是深度度量學(xué)習(xí)領(lǐng)域中的核心問題,最近有頗多研究都通過改進(jìn)采樣或者加權(quán)方案來解決這一難題,目前主要兩種思路: 第一種思路是在 mini-batch 內(nèi)下功夫,對(duì)于 mini-batch 內(nèi)的樣本對(duì),從各種角度去衡量其難度,然后給予難樣本對(duì)更高權(quán)重,比如 N-pairs、Lifted Struture Loss、MS Loss 使用的就是此種方案。 第二種思路是在 mini-batch 的生成做文章,比如 HTL、Divide and Conquer,他們的做法雖然看上去各有不同,但是整體思路有異曲同工之處。大致思路都是對(duì)整個(gè)數(shù)據(jù)集進(jìn)行聚類,每次生成 mini-batch 不是從整個(gè)數(shù)據(jù)集去采樣,而是從一個(gè)子集,或者說一個(gè)聚類小簇中去采樣。這樣一來,由于采樣范圍本身更加集中,生成的 mini-batch 中難例的比例自然也會(huì)更大,某種程度上也能解決問題。 然而,無論是第一種方法的額外注重難樣本,還是第二種方法的小范圍采樣,他們的難例的挖掘能力其實(shí)依然有一個(gè)天花板——那就是 mini-batch 的大小。這個(gè) mini-batch 的大小決定了在模型中單次迭代更新中,可以利用的樣本對(duì)的總量。因此,即使是很精細(xì)的采樣加權(quán)方法,在 mini-batch 大小有限的情況下,也很難有頂級(jí)的表現(xiàn)。我們?cè)谌齻(gè)標(biāo)準(zhǔn)圖像檢索數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn),基于三種標(biāo)準(zhǔn)的 pair-based 方法,我們發(fā)現(xiàn)隨著 mini-batch 變大,效果(Recall@1)大幅提升。實(shí)驗(yàn)結(jié)果如下圖:

可以看出,隨著 mini-batch 的增大,效果有顯著提升。但是,在實(shí)際工業(yè)應(yīng)用中 mini-batch 越大,訓(xùn)練所需要的 GPU 或 TPU 就越多,即使計(jì)算資源有充分保證,在多機(jī)多卡的訓(xùn)練過程中,如何在工程上保證通信的效率也是一個(gè)有挑戰(zhàn)的問題。

二、特征偏移

由此,我們希望另辟蹊徑,得以在 mini-batch 有限的情況下,也能獲得充足的難例樣本對(duì)。首先,必須突破深度度量學(xué)習(xí)一直以來的一個(gè)思維局限——僅在對(duì)當(dāng)前 mini-batch里的樣本對(duì)兩兩比較,形成樣本對(duì)。以此我們引入了 XBM(Cross-batch Memory)這一方法來突破局限,跨越時(shí)空進(jìn)行難例挖掘,把過去的 mini-batch 的樣本提取的特征也拿過來與當(dāng)前 mini-batch 作比較,構(gòu)建樣本對(duì)。

我們將樣本特征隨著模型訓(xùn)練的偏移量,稱之為特征偏移(Feature Drift)。從上圖我們發(fā)現(xiàn),在訓(xùn)練的一開始,模型還沒有穩(wěn)定,特征劇烈變化,每過 100 次迭代,特征偏移大約 0.7 以上。但是,隨著訓(xùn)練的進(jìn)行,模型逐步穩(wěn)定,特征的偏移也變小。我們稱這個(gè)現(xiàn)象為慢偏移(Slow Drift),這是我們可以利用的一點(diǎn)。

1  2  3  下一頁>  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)