訂閱
糾錯
加入自媒體

比AI視頻換臉還可怕!DeepMind新AI可生成逼真視頻

近日,DeepMind的研究人員研發(fā)了一個名叫Dual Video Discriminator GAN(DVD-GAN)的人工智能模型,該模型通過能夠通過學(xué)習(xí)一系列的YouTube視頻數(shù)據(jù)集,生成高度逼真且連貫的256 x 256像素視頻,最長可達(dá)48幀。

目前,DVD-GAN的研究成果已于美國時(shí)間2019年7月15日發(fā)表在arxiv上,名為《在復(fù)雜數(shù)據(jù)集上的高效視頻生成(Efficient Video Generation on Complex Datasets)》。

AI造假視頻比造假圖片更難

最近,俄羅斯AI研究人員開發(fā)的FaceApp著實(shí)大火了一把,這款應(yīng)用通過人工智能技術(shù)能夠改變用戶自拍照的年齡、外貌、發(fā)色和性別,甚至可以生成虛構(gòu)的人物照片。這直接讓人們近距離地感受了人工智能技術(shù)給我們的生活帶來的樂趣。

但是否有人想過,有朝一日這些技術(shù)也能應(yīng)用在視頻領(lǐng)域呢?

如果說BigGAN是DeepMind在圖像領(lǐng)域開發(fā)的能夠生成高度逼真圖像的圖像生成器,那么DeepMind研究人員們開發(fā)的DVD-GAN,就是人工智能在視頻剪輯生成領(lǐng)域的最新突破。

研究人員在論文中表示,生成自然視頻對生成式建模來說是一個較大的挑戰(zhàn),同時(shí)還會受到數(shù)據(jù)復(fù)雜性和計(jì)算需求增加的困擾。

因此,之前業(yè)界的研究人員們在研究視頻生成領(lǐng)域時(shí),幾乎都圍繞著相對簡單的數(shù)據(jù)集,或者采用有限的時(shí)間信息來降低任務(wù)的復(fù)雜程度。

而這次,DeepMind的研究人員們主要針對視頻合成和視頻預(yù)測的任務(wù),將生成圖像模型的強(qiáng)大功能和逼真效果擴(kuò)展到視頻領(lǐng)域。

DVD-GAN:基于BigGAN模型結(jié)構(gòu)

研究人員們基于BigGAN的模型結(jié)構(gòu),構(gòu)建了DVD-GAN的系統(tǒng),并引入了一系列用于視頻生成的調(diào)整,使DVD-GAN能夠在Kinetics-600上進(jìn)行訓(xùn)練。

Kinetics-600是一組由50萬段10秒高分辨率的YouTube視頻剪輯匯編而成的訓(xùn)練數(shù)據(jù)集,它最初是為識別人類動作而制作的,比目前其他常用的語料庫還大一個數(shù)量級。

同時(shí),研究人員們表示,Kinetics-600具有多樣化特征,能消除他們對過擬合(Overfitting)的擔(dān)憂。過擬合主要是指機(jī)器學(xué)習(xí)時(shí)選擇的模型所包含的參數(shù)過多,以至出現(xiàn)這一模型對已知數(shù)據(jù)預(yù)測得很好,但對未知數(shù)據(jù)預(yù)測得很差的現(xiàn)象。

另一方面,DeepMind的研究人員們利用生成對抗以提供一個能生成動作的學(xué)習(xí)信號。

此外,DVD-GAN還有一個單獨(dú)的Transformer模塊,它可以讓學(xué)習(xí)信息在整合AI模型中傳播。

訓(xùn)練12至96小時(shí)即可生成視頻

研究論文表明,在經(jīng)過Google第三代TPU訓(xùn)練了12至96個小時(shí)后,DVD-GAN可以成功地生成視頻,這些視頻內(nèi)容包含了物體的組成和運(yùn)動,以及各種復(fù)雜的紋理。

不足的是,DVD-GAN生成的視頻內(nèi)容有時(shí)較為“詭異”,例如生成的物體和人形奇形怪狀,甚至人體忽長忽短地變化。

但研究人員指出,當(dāng)把DVD-GAN放在UCF-101(一個包含13320個人類動作視頻的較小數(shù)據(jù)集)上進(jìn)行評估后,DVD-GAN生成的樣本初始值最高為32.97。

DeepMind的研究人員們希望能進(jìn)一步強(qiáng)調(diào)在大型復(fù)雜視頻數(shù)據(jù)集上訓(xùn)練生成模型的好處,例如Kinetics-600。

“我們設(shè)想通過DVD-GAN在這個數(shù)據(jù)集上建立強(qiáng)大的基線,該基線將被用作未來建模生成領(lǐng)域的參考點(diǎn)!毖芯咳藛T表示,“盡管在不受約束的環(huán)境下持續(xù)生成逼真的視頻還需要進(jìn)行很多工作,但我們相信DVD-GAN是我們朝這個方向邁出的重要一步!

網(wǎng)絡(luò)(GANs)來區(qū)分生成樣本和真實(shí)世界樣本,該網(wǎng)絡(luò)主要由生成器和判別器兩部分組成。

GANs曾被應(yīng)用在把文字轉(zhuǎn)換成一幕幕的場景故事,或生成人造星系圖像等任務(wù)中。而研究人員們這次使用的是名為BigGANs的生成對抗網(wǎng)絡(luò),該網(wǎng)絡(luò)以大批量和數(shù)百萬個參數(shù)而得名。

值得一提的是,DVD-GAN包含兩個判別器。一個是空間判別器(Spatial Discriminator:D_S),該判別器通過隨機(jī)采樣全分辨率幀并單獨(dú)處理,以評估單個幀的內(nèi)容和結(jié)構(gòu);另一個是時(shí)間判別器(Temporal Discriminator:D_T),它可以提供一個能生成動作的學(xué)習(xí)信號。

此外,DVD-GAN還有一個單獨(dú)的Transformer模塊,它可以讓學(xué)習(xí)信息在整合AI模型中傳播。

結(jié)語:用AI生成高度逼真視頻的一次嘗試

不管是BigGAN還是FaceApp,以往的研究人員們在人工智能生成圖像領(lǐng)域進(jìn)行了許多具有突破性的研究,但在視頻領(lǐng)域,除了AI換臉曾火了一把之外,并沒有更多的突破性進(jìn)展。

而DeepMind的研究人員們基于BigGAN架構(gòu)和Kinetics-600訓(xùn)練數(shù)據(jù)集開發(fā)的DVD-GAN,利用計(jì)算高效的判別器分解,擴(kuò)展到時(shí)間更長、分辨率更高的視頻。就目前來說,雖然這一成果還有些許不足,但這無疑是研究人員們利用AI生成高度逼真視頻的一次重要嘗試。

聲明: 本文系OFweek根據(jù)授權(quán)轉(zhuǎn)載自其它媒體或授權(quán)刊載,目的在于信息傳遞,并不代表本站贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé),如有新聞稿件和圖片作品的內(nèi)容、版權(quán)以及其它問題的,請聯(lián)系我們。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標(biāo)題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號