在做生成模型時，用一個生成網(wǎng)絡(luò)生成了一批圖，為了挑選幾張最好的做demo，可能要花費(fèi)大量的時間精力。為了解決該問題，中國科學(xué)技術(shù)大學(xué)在讀博士古紓旸等人提出了一個全新的研究方向：生成圖片質(zhì)量評估（GIQA）。通過對單張生成圖片質(zhì)量的打分，我們可以“一鍵”挑出高質(zhì)量的圖。

本文首次提出對生成模型生成圖片的質(zhì)量進(jìn)行定量，客觀地衡量這一新的研究課題，并提出了幾種解決方案和一個數(shù)據(jù)集去衡量這些方案。通過豐富的實(shí)驗(yàn)證明了這個課題有了寬廣的應(yīng)用。

這些年來，深度生成模型取得了巨大的進(jìn)展，誕生了很多有趣的應(yīng)用，然而，并非所有生成的結(jié)果都很完美。如下圖所示，圖中四個角上的圖片均為StyleGAN在一只貓的數(shù)據(jù)集上生成結(jié)果。在這些圖片中，既有很多高質(zhì)量的貓（右下），也有很多圖質(zhì)量很差（完全看不出來是貓，左下）。

以往大家為了評估哪張圖生成的好，往往都是要靠人來判斷，這需要花費(fèi)大量人力成本。在實(shí)際應(yīng)用中，由于對于生成圖片的最差質(zhì)量缺少把控，很多產(chǎn)品遭受到了各種質(zhì)疑。基于此，我們提出了生成圖像質(zhì)量評估（GIQA）這一研究方向，并希望用評估算法對生成圖片的質(zhì)量進(jìn)行自動的打分。為了實(shí)現(xiàn)這個目的，我們從基于學(xué)習(xí)的和基于數(shù)據(jù)的兩個角度提出了三種解決方法，利用這些方法，我們能夠?qū)崿F(xiàn)對生成圖片的質(zhì)量進(jìn)行打分，同時實(shí)現(xiàn)很多有趣的應(yīng)用。上圖中展示了我們對一個模型的生成圖片進(jìn)行打分的分布結(jié)果，在右下、右上、左上、左下中我們分別展示了模型評價(jià)的從高質(zhì)量到低質(zhì)量的生成圖片，可以觀察到我們算法評價(jià)的質(zhì)量基本上和人的評價(jià)是一致的。

下面將介紹我們是怎么實(shí)現(xiàn)用算法進(jìn)行生成圖片質(zhì)量評價(jià)的。

基于學(xué)習(xí)的GIQA

我們發(fā)現(xiàn)，在訓(xùn)練GAN的時候，生成圖片的質(zhì)量會隨著迭代次數(shù)的增加而變好。一個簡單的想法是用迭代次數(shù)當(dāng)質(zhì)量的“偽標(biāo)簽”，通過監(jiān)督式的學(xué)習(xí)，來學(xué)一個打分器，對生成圖片的質(zhì)量進(jìn)行打分。然而，用迭代次數(shù)當(dāng)質(zhì)量并不精確，我們通過多個二分類器（Multiple binary classifiers）回歸標(biāo)簽來平滑去噪，通過平均這些分類器的分?jǐn)?shù)，可以極大的增強(qiáng)魯棒性和泛化能力。我們稱之為MBC－GIQA。

數(shù)據(jù)驅(qū)動GIQA

我們重新思考質(zhì)量評估這個問題，發(fā)現(xiàn)“質(zhì)量”很難定義好。生成模型希望能生成服從已有的真實(shí)數(shù)據(jù)分布（real distribution）的圖片，因此，我們認(rèn)為“質(zhì)量”表征的是一張生成圖片和真實(shí)數(shù)據(jù)分布的接近程度。通俗的說，就是一張生成圖片有多大可能性來自于真實(shí)分布。這個概率越大，表示質(zhì)量越高。因此，另一個直觀的想法是對真實(shí)分布直接建模。我們根據(jù)建模是參數(shù)化模型還是非參數(shù)化模型分成兩部分。

參數(shù)化模型：GMM－GIQA

我們將用高斯混合模型（GMM）來擬合真實(shí)數(shù)據(jù)分布在特征層面的特征。對于一張待測的圖片I，我們先提取他特征x，這個特征x在真實(shí)數(shù)據(jù)分布中出現(xiàn)的概率就表示了該圖的質(zhì)量。