由于卷積神經(jīng)網(wǎng)絡的梯度具有如上四個特點，所以當我們直接在訓練中對梯度進行量化時，訓練精度非常容易出現(xiàn)突發(fā)的崩潰情況。下圖展示了在CIFAR－10數(shù)據(jù)集上進行實驗的精度和損失函數(shù)變化曲線，以MobileNetv2在CIFAR－10數(shù)據(jù)集上訓練為例，其訓練的精度曲線和loss曲線如下圖，從圖中可以發(fā)現(xiàn)INT8訓練的loss在訓練初期正常下降，但隨后迅速上升，對應的精度也不斷下降。

是什么影響了收斂穩(wěn)定性

根據(jù)以上的觀察和初步啟發(fā)，我們希望通過理論的分析和推導，對量化訓練的收斂穩(wěn)定性進行建模。根據(jù)Adam等相關論文的經(jīng)驗和優(yōu)化理論中的Regret analysis，不失一般性地定義R（T）為

其中f是損失函數(shù)，t是訓練輪數(shù)，T是訓練總輪數(shù)，

為t輪的權重，

是最優(yōu)權重。

基于以下兩個樸素的假設：

通過推導證明可以得到：

其中

為

輪的學習率，

為權重的維度，

為

輪的量化誤差，

是

輪的量化后梯度。

為了確保網(wǎng)絡能夠穩(wěn)定收斂，

在T變大時需要能夠達到足夠小。通過上式可以發(fā)現(xiàn)，在T趨于無窮大時，第（1）項可以忽略不計，主要考慮減小第（2）項和第（3）項。

我們發(fā)現(xiàn)，第（2）項與量化誤差正相關，第（3）項與學習率以及量化后的梯度大小有關。

因此我們不難得到兩個直觀的提升訓練收斂穩(wěn)定性的策略：通過調(diào)節(jié)量化函數(shù)中的截斷值減小量化誤差通過適當調(diào)低學習率來提高量化訓練精度

主要方法

依據(jù)以上分析，我們針對量化誤差和學習率提出了基于方向自適應的梯度截斷和誤差敏感的學習率調(diào)節(jié)兩個方法來解決量化訓練帶來的精度損失問題。同時，為了減少量化操作帶來的額外開銷，本文還提出了周期更新和量化卷積融合的方法。

1． 基于方向自適應的梯度截斷：調(diào)整截斷值，讓梯度方向保持正確。

為了最小化量化誤差，之前有很多研究提出優(yōu)化截斷值的方法，其中就有研究提出通過假設數(shù)據(jù)分布直接求解最優(yōu)截斷值。但是已有的研究都針對于權重量化的截斷值進行優(yōu)化。就如本文觀察所顯示，梯度的分布特征與權重區(qū)別較大，無法直接使用。本文通過KS檢驗發(fā)現(xiàn)梯度的分布并不符合常見的高斯分布、拉普拉斯分布和學生t分布，因此很難通過假設梯度分布來直接求解最優(yōu)的截斷值。

基于以上的分析，本文采用梯度下降的方法來自適應地學習最優(yōu)截斷值，常見的目標函數(shù)有均方誤差函數(shù)，但是由于梯度的分布特征，均方誤差的大小會受到梯度的影響，影響優(yōu)化過程；同時對于梯度來說，均方誤差并不能很好地體現(xiàn)梯度的量化誤差對于優(yōu)化過程的影響，因此本文提出使用能夠體現(xiàn)梯度方向的余弦距離來衡量梯度的量化誤差，并以余弦距離為目標函數(shù)來優(yōu)化求解最優(yōu)截斷值。余弦距離定義如下：

其中，

是梯度，

是量化后的梯度。

2． 誤差敏感的學習率調(diào)節(jié)：在錯誤的方向上盡量少更新。

根據(jù)上述的理論分析，降低學習率能夠有助于模型量化訓練的收斂。針對學習率的調(diào)整，本文提出誤差敏感的學習率調(diào)節(jié)方法，使用學習率系數(shù)對原學習率進行調(diào)整，學習率系數(shù)與余弦距離

負相關，學習率系數(shù)

定義如下：

其中

和

是超參數(shù)，用于控制衰減程度和調(diào)節(jié)下界。

3． 周期更新：降低由于統(tǒng)計而帶來的額外計算耗時

由于量化操作需要的統(tǒng)計數(shù)據(jù)范圍和計算截斷值等操作十分耗時，為了減少這些操作的時間開銷，本文采用周期更新的方式，周期性地統(tǒng)計數(shù)據(jù)范圍和計算截斷值。通過周期更新的方法能夠有效地提高減少因量化引入的額外時間開銷。下表為ResNet50在ImageNet數(shù)據(jù)集上不同周期的單次訓練時間統(tǒng)計表。

4． 量化卷積融合：減少訪存次數(shù)、節(jié)省cuda kernel launch次數(shù)

通過將量化和反量化操作融合入卷積計算的CUDA核函數(shù)里，可以減少一次數(shù)據(jù)的訪存，有效地減少量化和反量化操作的時間開銷。