圖標(biāo)（icon）廣泛應(yīng)用于各種類型的平面媒體中，其簡單抽象的形象表示、簡明扼要的信息表達(dá)受到了很多人的青睞。但一個好看、生動的優(yōu)秀icon需要設(shè)計師基于多年的設(shè)計經(jīng)驗，對目標(biāo)進(jìn)行充分的抽象、變形，重新設(shè)計成更光滑圓潤、形象生動的圖標(biāo)化結(jié)果。如果對于沒有設(shè)計經(jīng)驗的人來說，從一張照片得到一個好看的圖標(biāo)并不容易。

為解決設(shè)計師的這一痛點(diǎn)，來自于日本九州大學(xué)和電氣通信大學(xué)的研究人員提出了基于生成對抗網(wǎng)絡(luò)的Iconify模型，可以將輸入的圖像轉(zhuǎn)換為較為形象簡潔的圖標(biāo)，為圖標(biāo)生成和構(gòu)建提出了新的可行方向。

圖像主體的圖標(biāo)化

圖標(biāo)化指的是對圖像中的目標(biāo)進(jìn)行抽象和簡化的過程，下圖顯示了一些典型的圖標(biāo)。與原始多代表的目標(biāo)相比，圖標(biāo)不僅僅是圖像的二值化，同時還對原始圖像進(jìn)行了有效地抽象和簡化設(shè)計。例如人體的頭部都用一個圓來代替、復(fù)雜形狀和細(xì)節(jié)被簡化成了簡單的幾何結(jié)構(gòu)。圖形設(shè)計師的專業(yè)能力就在于省略、抽象和簡化復(fù)雜的細(xì)節(jié)而保留原始目標(biāo)中具有辨識力的典型特征。

研究人員希望利用機(jī)器學(xué)習(xí)技術(shù)將照片直接轉(zhuǎn)換為圖標(biāo)，其核心在于機(jī)器學(xué)習(xí)算法是否可以有效捕捉和模擬人類設(shè)計師對于目標(biāo)的抽象和簡化能力，來構(gòu)建美觀的圖標(biāo)。但實現(xiàn)這一目標(biāo)需要解決以下三個困難：

1． 首先針對真實圖像和圖標(biāo)沒有與之相匹配的配圖圖像，真實圖像和圖標(biāo)間沒有直接對應(yīng)的匹配關(guān)系使得研究人員無法使用基于U－Net的直接轉(zhuǎn)換方法，而需要在數(shù)據(jù)集間尋求兩個不同域間的對應(yīng)關(guān)系；

2． 其次兩種圖像間具有較大的風(fēng)格差異，例如人物的頭部在真實圖片中具有很多細(xì)節(jié)特征，而在圖標(biāo)中則用簡單的原型代替，這就需要模型能夠?qū)W習(xí)出兩種風(fēng)格間的映射；

3． 此外兩種圖像的外形特征也不盡相同，圖標(biāo)雖然是簡化的平面圖形，但不同目標(biāo)的形狀差異也很大。對應(yīng)的照片也是各具特色、顏色不一的。

研究人員將圖標(biāo)生成任務(wù)視為在照片和圖標(biāo)間實現(xiàn)域遷移的生成任務(wù)。由于沒有對應(yīng)的配對數(shù)據(jù)集，研究人員采用了基于CycleGan和UNIT等方法來構(gòu)建模型，學(xué)習(xí)出從圖像到圖標(biāo)的圖標(biāo)化能力。

在神經(jīng)風(fēng)格遷移提出后，各種模型都在利用深度學(xué)習(xí)的創(chuàng)作藝術(shù)作品上展現(xiàn)出了強(qiáng)大的能力，特別是基于生成對抗網(wǎng)絡(luò)的模型引領(lǐng)了風(fēng)格化的研究潮流。其中Pix2Pix就是其中著名的代表，它可以利用配對圖像訓(xùn)練出非常好遷移結(jié)果，但配對圖像的需求限制了它在缺乏對應(yīng)數(shù)據(jù)集領(lǐng)域的應(yīng)用。而CycleGan和UNIT這類模型卻可以學(xué)習(xí)出兩個圖像數(shù)據(jù)集間的映射關(guān)系，而無需一一對應(yīng)的圖像對數(shù)據(jù)對模型進(jìn)行訓(xùn)練。

CycleGAN定義了兩個圖像集合X、Y間的映射，在不需要給定配對圖像的情況下進(jìn)行訓(xùn)練。它包含了兩個生成器G和F以及兩個判別器Dx和Dy，也就是兩個生成對抗網(wǎng)絡(luò)同時訓(xùn)練將X和Y兩個不同的圖像域耦合在了一起。在訓(xùn)練時一共定義了三個損失函數(shù)，包括用于訓(xùn)練GAN的對抗損失、用于雙向訓(xùn)練XY間映射的循環(huán)連續(xù)性損失、以及保證顏色連續(xù)性的特性映射損失。

UNIT則可視為CycleGAN的拓展形式，實現(xiàn)了兩個圖像集合XY間的風(fēng)格轉(zhuǎn)換。UNIT與CycleGAN的主要不同在于需要滿足原始圖像與遷移后圖像的表示變量需要在隱空間中保持一致。

下圖展示了其基本架構(gòu)，包含了兩個編碼器和兩個生成器、以及兩個判別器。這些模塊利用VAE損失、對抗損失和循環(huán)損失共同訓(xùn)練，VAE損失的引入使得隱變量可以編碼原始圖像的足夠信息。

為了訓(xùn)練CycleGAN和UNIT模型實現(xiàn)從圖像到圖標(biāo)的遷移任務(wù)，研究人員利用了兩個模型原始的代碼代碼版本進(jìn)行了訓(xùn)練。其中圖像數(shù)據(jù)來自于MS COCO數(shù)據(jù)集，從中選取了5000張圖片包含11041個目標(biāo)，并將其裁剪成了256x256大小的圖像；而圖標(biāo)數(shù)據(jù)則來自于兩方面，一方面利用你了ppt內(nèi)自帶的883張圖片，并通過數(shù)據(jù)增強(qiáng)擴(kuò)充到了8830張。此外，研究人員還使用了LLD數(shù)據(jù)集中的圖像，包含了與本任務(wù)類似的logo風(fēng)格遷移的數(shù)據(jù)集，研究人員選取了其中的20，000張并將其尺寸縮放成了256x256大小作為訓(xùn)練數(shù)據(jù)。

下圖顯示了數(shù)據(jù)集中的典型樣本：