CVPR 2020: SGAS,一種基于貪心思想的CNN/GCN網(wǎng)絡(luò)結(jié)構(gòu)搜索算法
根據(jù)這三個(gè)影響邊選擇的三個(gè)因素,我們提出了兩個(gè)選擇指標(biāo):
指標(biāo)1 :具有高的邊重要性和高的邊確定性的邊將被選擇,公式為:
指標(biāo)2:在指標(biāo)1的基礎(chǔ)上,被選擇的邊也應(yīng)該具有較高的穩(wěn)定性:
這里,normalize(·)指 Min-Max標(biāo)準(zhǔn)化。
實(shí)驗(yàn)結(jié)果
我們搜索了CNN和GCN網(wǎng)絡(luò)結(jié)構(gòu),并在CIFAR,ImageNet圖像分類,ModelNet點(diǎn)云分類,PPI生物圖數(shù)據(jù)節(jié)點(diǎn)分類上達(dá)到了SOTA效果。
CNN
我們將SGAS用到CNN的網(wǎng)絡(luò)結(jié)構(gòu)搜索中, CNN網(wǎng)絡(luò)結(jié)構(gòu)由普通單元(normalcell) 和 歸約單元(reduction cell)組成。普通單元保持特征圖大小不變,歸約單元縮小特征圖至. CNN任務(wù)中,搜索空間由8個(gè)運(yùn)算組成:skip-connect,max-pool-3×3, avg-pool-3×3, sep-conv-3×3, sep-conv5×5, dil-conv-3×3,dil-conv-5×5, zero。
SGAS在CIFAR-10的訓(xùn)練集與驗(yàn)證集搜索結(jié)構(gòu),并在測(cè)試集上進(jìn)行測(cè)試,結(jié)果如表1所示:
SGAS在CIFAR-10的訓(xùn)練集與驗(yàn)證集搜索結(jié)構(gòu),并在ImageNet測(cè)試集上進(jìn)行測(cè)試,結(jié)果如表2所示:
我們的SGAS在性能超越了手工設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)以及其他NAS算法。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
-
精彩回顧立即查看>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
推薦專題
- 1 【一周車話】沒(méi)有方向盤(pán)和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無(wú)人駕駛車,還未迎來(lái)“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 6 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 7 神經(jīng)網(wǎng)絡(luò),誰(shuí)是盈利最強(qiáng)企業(yè)?
- 8 比蘋(píng)果偉大100倍!真正改寫(xiě)人類歷史的智能產(chǎn)品降臨
- 9 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 10 Open AI融資后成萬(wàn)億獨(dú)角獸,AI人才之爭(zhēng)開(kāi)啟
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市