訂閱
糾錯(cuò)
加入自媒體

CVPR 2020: 8比特?cái)?shù)值也能訓(xùn)練模型?商湯提出訓(xùn)練加速新算法

實(shí)驗(yàn)結(jié)果

圖像分類任務(wù):

本文在CIFAR10和ImageNet等圖像分類數(shù)據(jù)集進(jìn)行INT8訓(xùn)練實(shí)驗(yàn)。從下表結(jié)果中可以看出,在大多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)中均取得了比現(xiàn)有最好方法更優(yōu)的精度,并且首次在MobileNet、Inception等網(wǎng)絡(luò)上進(jìn)行量化訓(xùn)練實(shí)驗(yàn),精度損失也在1.5%以內(nèi)。

目標(biāo)檢測任務(wù):

同時(shí),本文也首次嘗試在PASCAL和COCO等目標(biāo)檢測數(shù)據(jù)集上進(jìn)行INT8訓(xùn)練實(shí)驗(yàn),精度損失也在2%以內(nèi)。

已有的少量探究梯度量化的論文[4]均未報(bào)告算法在實(shí)際訓(xùn)練任務(wù)中的真實(shí)加速性能,為了最大限度將方法實(shí)用化,本文在GeForce GTX1080TI顯卡上編寫并優(yōu)化了用于支持INT8訓(xùn)練的卷積前向和后向計(jì)算核心。實(shí)測結(jié)果表明,使用INT8卷積計(jì)算的前向和后向過程相比于浮點(diǎn)計(jì)算有明顯的加速,其中前向過程平均加速1.63倍,后向過程平均加速1.94倍。如下圖所示:

同時(shí),本文在實(shí)際訓(xùn)練過程中進(jìn)行了完整的端到端測試,可以看到,INT8訓(xùn)練可以將ResNet50的一輪訓(xùn)練過程從0.360秒降低到0.293秒,整體訓(xùn)練過程提速了22%。

References 

[1] Ruihao Gong, Xianglong Liu, Shenghu Jiang, TianxiangLi,Peng Hu, Jiazhen Lin, Fengwei Yu, and Junjie Yan. Differen-tiable softquantization:  Bridging full-precisionand low-bitneural networks. In ICCV, October 2019.

[2] RundongLi, Yan Wang, Feng Liang, Hongwei Qin, Junjie Yan, and Rui Fan. Fully quantizednetwork for object detection. In The IEEE Conference on Computer Vision andPattern Recognition (CVPR), June 2019.

[3] Benoit Jacob,Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, HartwigAdam, and Dmitry Kalenichenko. Quantization and training of neural networks forefficient integer-arithmetic-only inference. 2018 IEEE Conference on ComputerVision and Pattern Recognition(CVPR), June 2018.

[4] Yukuan Yang, Shuang Wu, LeiDeng, Tianyi Yan, Yuan Xie, and Guoqi Li. Training high-performance andlarge-scale deep neural networks with full 8-bit integers, 2019.

<上一頁  1  2  3  
聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請輸入評(píng)論內(nèi)容...

請輸入評(píng)論/評(píng)論長度6~500個(gè)字

您提交的評(píng)論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)