訂閱
糾錯(cuò)
加入自媒體

碼隆科技提出跨越時(shí)空的樣本配對(duì),解決深度度量學(xué)習(xí)痛點(diǎn)

六、對(duì)比 SOTA

與最近的深度度量學(xué)習(xí)方法對(duì)比,我們?cè)谒膫(gè)檢索數(shù)據(jù)庫(kù)上效果均大幅提升,這里僅列出 VehicleID 的效果,其他數(shù)據(jù)集的效果見(jiàn)原論文。

簡(jiǎn)單來(lái)說(shuō),不同于部分文章中使用更好的網(wǎng)絡(luò)結(jié)構(gòu),更大的輸出維度,或者更大的 mini-batch 來(lái)提升效果,強(qiáng)行 SOTA。我們列出 XBM 在 64 的 mini-batch 在不同的主干網(wǎng)絡(luò)下及各種維度下的效果,其效果一直是最好的。

七、可視化

更多可視化見(jiàn)論文補(bǔ)充材料,有更多實(shí)例說(shuō)明效果。 

八、總結(jié)與展望

第一,本文提出的 XBM 方法能夠記住過(guò)去的特征,使得模型的訓(xùn)練不再僅僅依靠當(dāng)前 mini-batch 的樣本,而是可以跨越時(shí)空進(jìn)行樣本配對(duì)。從而用極小的代價(jià),提供了巨量的樣本對(duì),為 pair-based 的深度度量學(xué)習(xí)方法取得了巨大的效果提升。這種提升難例挖掘效果的方式,也是突破了過(guò)去兩個(gè)傳統(tǒng)思路:加權(quán)和聚類(lèi),并且效果也更加簡(jiǎn)單、直接,很好地解決了深度度量學(xué)習(xí)的痛點(diǎn)。

第二,其實(shí) Memory 機(jī)制并不是本文原創(chuàng),但是用 Memory 來(lái)做難例挖掘是一個(gè)全新的嘗試。同樣在 CVPR 2020 獲得 Oral,也是由 Kaiming He 作為一作的 MoCo 也是這種思路。本文的方法其實(shí)可以認(rèn)為是 MoCo 在 m=0 的特例,Kaiming 通過(guò)動(dòng)量更新 key encoder,可以直接控制住特征偏移。作者認(rèn)為,這種方法還會(huì)在很多任務(wù)帶來(lái)提升,不局限于 Kaiming 的自監(jiān)督表示學(xué)習(xí),以及此前我們一直關(guān)注研究的度量學(xué)習(xí)(或者說(shuō)監(jiān)督表示學(xué)習(xí))。

第三,在本文中,雖然 XBM 在所有的 pair-based 的方法都有提升,但是明顯在對(duì)比損失(Contrastive Loss)上提升最大,具體原因待考。另外,我們也把在無(wú)監(jiān)督表示上表現(xiàn)很好的 infoNCE 方法用到了深度度量學(xué)習(xí),但效果并不顯著。作者認(rèn)為這兩個(gè)問(wèn)題的答案是同一個(gè),且有值得深究的價(jià)值,希望在后續(xù)研究中進(jìn)行進(jìn)一步跟進(jìn)探索。

關(guān)于我“門(mén)”▼

將門(mén)是一家以專(zhuān)注于發(fā)掘、加速及投資技術(shù)驅(qū)動(dòng)型創(chuàng)業(yè)公司的新型創(chuàng)投機(jī)構(gòu),旗下涵蓋將門(mén)創(chuàng)新服務(wù)、將門(mén)技術(shù)社群以及將門(mén)創(chuàng)投基金。將門(mén)成立于2015年底,創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成,曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

將門(mén)創(chuàng)新服務(wù)專(zhuān)注于使創(chuàng)新的技術(shù)落地于真正的應(yīng)用場(chǎng)景,激活和實(shí)現(xiàn)全新的商業(yè)價(jià)值,服務(wù)于行業(yè)領(lǐng)先企業(yè)和技術(shù)創(chuàng)新型創(chuàng)業(yè)公司。

將門(mén)技術(shù)社群專(zhuān)注于幫助技術(shù)創(chuàng)新型的創(chuàng)業(yè)公司提供來(lái)自產(chǎn)、學(xué)、研、創(chuàng)領(lǐng)域的核心技術(shù)專(zhuān)家的技術(shù)分享和學(xué)習(xí)內(nèi)容,使創(chuàng)新成為持續(xù)的核心競(jìng)爭(zhēng)力。

將門(mén)創(chuàng)投基金專(zhuān)注于投資通過(guò)技術(shù)創(chuàng)新激活商業(yè)場(chǎng)景,實(shí)現(xiàn)商業(yè)價(jià)值的初創(chuàng)企業(yè),關(guān)注技術(shù)領(lǐng)域包括機(jī)器智能、物聯(lián)網(wǎng)、自然人機(jī)交互、企業(yè)計(jì)算。在近四年的時(shí)間里,將門(mén)創(chuàng)投基金已經(jīng)投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數(shù)科技、迪英加科技等數(shù)十家具有高成長(zhǎng)潛力的技術(shù)型創(chuàng)業(yè)公司。

<上一頁(yè)  1  2  3  
聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)