利用機(jī)器學(xué)習(xí)創(chuàng)造一個(gè)度量標(biāo)準(zhǔn)需要解決根本的挑戰(zhàn)：這一指標(biāo)需要在不同域和時(shí)間上具備連續(xù)性。然而訓(xùn)練數(shù)據(jù)的數(shù)量總是有限的，同時(shí)公開數(shù)據(jù)集也是稀疏的。即使目前最大的人類評測數(shù)據(jù)集WMT度量任務(wù)數(shù)據(jù)集，包含了260k的人類測評，僅僅只覆蓋了新聞?lì)I(lǐng)域。這對于訓(xùn)練一個(gè)適用范圍廣泛的NLG測評指標(biāo)遠(yuǎn)遠(yuǎn)不夠。

為了解決這一問題，遷移學(xué)習(xí)被引入了這項(xiàng)研究。首先充分利用了BERT中上下文詞語表示，BERT是目前用于語言理解最先進(jìn)的非監(jiān)督表示學(xué)習(xí)方法，并成功應(yīng)用于想YiSi和BERTScore等NLG指標(biāo)上。

其次研究人人員引入了一種新穎的預(yù)訓(xùn)練機(jī)制來提升BLEURT的魯棒性。實(shí)驗(yàn)表明直接在人類測評數(shù)據(jù)集上訓(xùn)練回歸模型十分不穩(wěn)定，因?yàn)闊o法控制測評指標(biāo)在哪個(gè)域或者哪個(gè)時(shí)間跨度上使用。其精度很容易在出現(xiàn)域漂移的情況時(shí)下降，例如測試時(shí)文本信息來自于與訓(xùn)練句子對不同的域時(shí)。同時(shí)在質(zhì)量漂移時(shí)其性能也會下架，例如要預(yù)測評級比訓(xùn)練評級高時(shí)就可能引起性能下降，不過這也是機(jī)器學(xué)習(xí)研究正在取得進(jìn)展的標(biāo)志特征。

BLEURT的成功取決于模型利用數(shù)百萬合成句子對兒來進(jìn)行預(yù)熱，隨后再利用人類評級進(jìn)行微調(diào)。通過給來自維基百科的句子加入隨機(jī)擾動(dòng)來生成訓(xùn)練數(shù)據(jù)，研究人員沒有采用人類評級而是利用了文獻(xiàn)中的模型和指標(biāo)，使得訓(xùn)練樣本的數(shù)量可以低成本地進(jìn)行擴(kuò)充。

BLEURT數(shù)據(jù)生成過程，結(jié)合了隨機(jī)擾動(dòng)和現(xiàn)有的指標(biāo)和模型。

BLEURT的預(yù)訓(xùn)練分別在語言模型目標(biāo)和NLG評測目標(biāo)上訓(xùn)練了兩次。隨后在WMT指標(biāo)數(shù)據(jù)集上進(jìn)行了調(diào)優(yōu)，下圖展示了BLEURT端到端的訓(xùn)練流程。實(shí)驗(yàn)表明預(yù)訓(xùn)練模型極大地提升了BLEURT的精度，特別在測試分布外數(shù)據(jù)時(shí)尤其如此。

結(jié)  論

與多個(gè)指標(biāo)在機(jī)器翻譯和數(shù)據(jù)文本生成任務(wù)上的比較結(jié)果表明，BLEURT顯示出了優(yōu)異的性能。例如BLEURT在2019年的WMT Metrics Shared任務(wù)上的精度超過了BLEU48％。

在WMT’19 Metrics Shared 任務(wù)上，不同指標(biāo)和人類評級結(jié)果的相關(guān)性。

研究人員希望這一指標(biāo)可以為NLG任務(wù)提供更好的評測方式，提供靈活的語義的評測視角。BLEURT可以為人們提供除了重合度外更好的測評指標(biāo)，打破現(xiàn)有測評方法對于算法研發(fā)的束縛。