5 Rethinking Bottleneck Structure for Efficient Mobile Network Design

作者：Zhou Daquan，Qibin Hou，Yunpeng Chen，Jiashi Feng，Shuicheng Yan

機構(gòu)：新加坡國立大學(xué)，依圖科技

簡介：反向剩余塊是近年來移動網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計的主流。它通過引入反向殘差學(xué)習(xí)和使用線性瓶頸兩種設(shè)計規(guī)則來改變傳統(tǒng)的剩余瓶頸。本文對這種設(shè)計變更的必要性進行了反思，發(fā)現(xiàn)這種變更可能帶來信息丟失和梯度混淆的風(fēng)險。因此，我們建議翻轉(zhuǎn)結(jié)構(gòu)并提出一種新的瓶頸設(shè)計，稱為沙漏塊，在更高的維度上執(zhí)行身份映射和空間變換，從而有效地減少信息丟失和梯度混淆。大量的實驗表明，與一般的觀點不同，這種瓶頸結(jié)構(gòu)比倒置的瓶頸結(jié)構(gòu)對移動網(wǎng)絡(luò)更為有利。在ImageNet分類中，通過簡單地用我們的沙漏塊代替倒立的殘差塊而不增加參數(shù)和計算量，分類精度比MobileNetV2提高1．7％以上。在pascalvoc2007測試集上，觀察到在目標(biāo)檢測方面也有0．9％的mAP改進。通過將其加入神經(jīng)結(jié)構(gòu)搜索方法DARTS的搜索空間，進一步驗證了沙漏塊的有效性。經(jīng)過25％的參數(shù)簡化，分類精度比以前的DARTS模型提高了0．13％。

6 MutualNet： Adaptive ConvNet via Mutual Learning from Network Width and Resolution

作者：Taojiannan Yang，Sijie Zhu，Chen Chen，Shen Yan，Mi Zhang，Andrew Willis

機構(gòu)：北加利福利亞大學(xué)，密歇根州立大學(xué)

簡介：本文提出了寬度－分辨率相互學(xué)習(xí)的方法（MutualNet），根據(jù)動態(tài)的資源約束來訓(xùn)練網(wǎng)絡(luò)，實現(xiàn)運行時自適應(yīng)的準(zhǔn)確率－效率的平衡。該方法利用不同的寬度和輸入分辨率，訓(xùn)練了多個子網(wǎng)絡(luò)，每個網(wǎng)絡(luò)都互相學(xué)習(xí)多尺度的特征表示。相對于目前SOTA的自適應(yīng)網(wǎng)絡(luò) US－Net，本文方法在ImageNet上取得了更高的top－1準(zhǔn)確率，要比最優(yōu)的復(fù)合尺度的MobileNet和EfficientNet 高1．5％1．5％1．5％。在COCO目標(biāo)檢測、實例分割和遷移學(xué)習(xí)任務(wù)上，該方法也進行了驗證。MutualNet的訓(xùn)練策略可以提升單個網(wǎng)絡(luò)的性能，在效率（GPU搜索時間：1500 vs． 0）和準(zhǔn)確率方面都顯著超過了AutoAugmentation。

7 PSConv： Squeezing Feature Pyramid into One Compact Poly－Scale Convolutional Layer

作者：Duo Li，Anbang Yao，Qifeng Chen

機構(gòu)：香港科技大學(xué)，intel實驗室

簡介：盡管卷積神經(jīng)網(wǎng)絡(luò)（CNNs）具有強大的建模能力，但它往往具有尺度敏感性。為了提高cnn對尺度方差的魯棒性，在現(xiàn)有的解決方案中，基于不同層次或濾波器的多尺度特征融合受到了廣泛的關(guān)注，而忽略了更細粒度的核空間。我們通過在更細的粒度中利用多尺度特性來彌補這一遺憾。所提出的卷積運算稱為多尺度卷積（PSConv），它混合了膨脹率的頻譜，并巧妙地將其分配到每個濾波器關(guān)于單個卷積層的各個卷積核中。具體地說，膨脹率沿著濾波器的輸入和輸出通道的軸周期性地變化，以一種簡潔的方式將各種尺度上的特征聚集起來。PSConv可能是許多主流CNN主干網(wǎng)中香草卷積的一個替代品，允許在不引入額外參數(shù)和計算復(fù)雜性的情況下進行更好的表示學(xué)習(xí)。在ImageNet和MS－COCO基準(zhǔn)測試上的綜合實驗驗證了PSConv的優(yōu)越性能。

圖像分類

1 Learning To Classify Images Without Labels

作者：Van Gansbeke Wouter，Vandenhende Simon，Georgoulis Stamatios，Proesmans Marc，Van Gool Luc

機構(gòu)：KU Leuven／ESAT－PSI，蘇黎世聯(lián)邦理工學(xué)院

簡介：有沒有可能在不使用地面真相注釋的情況下自動分類圖像？或者，即使是類本身，也不是先驗知識嗎？這些仍然是計算機視覺中的重要問題。有幾種方法試圖以端到端的方式解決這個問題。在本文中，作者偏離了最近的工作，提出了一種將特征學(xué)習(xí)和聚類分離的兩步方法。首先，利用表征學(xué)習(xí)中的自監(jiān)督任務(wù)來獲得語義上有意義的特征。第二，在可學(xué)習(xí)的聚類方法中，使用所獲得的特征作為先驗。在這樣做的時候，去除了集群學(xué)習(xí)依賴于低級特征的能力，這是當(dāng)前端到端學(xué)習(xí)方法中存在的。實驗結(jié)果表明，本文的分類準(zhǔn)確率大大超過了現(xiàn)有的分類方法，特別是CIFAR10為＋26．9％，CIFAR100－20為＋21．5％，STL10為＋11．7％。此外，在ImageNet上的結(jié)果表明，本文的方法是第一個能夠很好地擴展到200個隨機選擇的類，獲得69．3％的top－1和85．5％的top－5準(zhǔn)確率，并且在完全監(jiān)督的方法下，差異小于7．5％。