訂閱
糾錯(cuò)
加入自媒體

【曠視】參與“維科杯·OFweek 2024(第九屆)人工智能行業(yè)年度評(píng)選”

維科杯 · OFweek 2024(第九屆)人工智能行業(yè)年度評(píng)選(OFweek 9th AI Awards 2024)由中國(guó)高科技行業(yè)門戶維科網(wǎng)主辦、維科網(wǎng)人工智能承辦,該評(píng)選是人工智能行業(yè)內(nèi)的一大品牌盛會(huì),亦是高科技行業(yè)具有專業(yè)性、影響力的評(píng)選之一。

此次活動(dòng)旨在為人工智能行業(yè)的產(chǎn)品、技術(shù)和企業(yè)搭建品牌傳播展示平臺(tái),并借助 OFweek 平臺(tái)資源及影響力,向行業(yè)用戶和市場(chǎng)推介創(chuàng)新產(chǎn)品與方案,鼓勵(lì)更多企業(yè)投入技術(shù)創(chuàng)新;同時(shí)為行業(yè)輸送更多創(chuàng)新產(chǎn)品、前沿技術(shù),一同暢想人工智能行業(yè)的未來。

維科杯 · OFweek 2024(第九屆)人工智能行業(yè)年度評(píng)選(OFweek 9th AI Awards 2024)于 2024 年 7 月 1 日 - 7 月 19 日進(jìn)入網(wǎng)絡(luò)投票階段,頒獎(jiǎng)典禮于 8 月 28 日在深圳舉辦。目前,活動(dòng)正處于火熱的企業(yè)申報(bào)階段,業(yè)內(nèi)企業(yè)積極響應(yīng)。

參評(píng)企業(yè)

曠視是一家聚焦物聯(lián)網(wǎng)場(chǎng)景的人工智能公司,基于業(yè)界領(lǐng)先的AI科研與工程實(shí)力,曠視打造出軟硬一體化的AIoT產(chǎn)品體系,面向消費(fèi)物聯(lián)網(wǎng)、城市物聯(lián)網(wǎng)和供應(yīng)鏈物聯(lián)網(wǎng)的核心場(chǎng)景提供解決方案持續(xù)為客戶和社會(huì)創(chuàng)造價(jià)值。

【曠視】參與“維科杯·OFweek 2024(第九屆)人工智能行業(yè)年度評(píng)選”

參評(píng)信息

申報(bào)獎(jiǎng)項(xiàng):維科杯 · OFweek 2024 人工智能行業(yè)優(yōu)秀創(chuàng)新力產(chǎn)品獎(jiǎng)

產(chǎn)品名稱: AI人像視頻生成框架 —— MegActor

產(chǎn)品特點(diǎn):

基于該框架,用戶只需輸入一張靜態(tài)的肖像圖片,以及一段視頻(演講、表情包、rap)文件,即可生成一段表情豐富、動(dòng)作一致的 AI 人像視頻。MegActor 所生成的視頻長(zhǎng)度,取決于給定的驅(qū)動(dòng)視頻的長(zhǎng)度。MegActor 能夠呈現(xiàn)出絲毫畢現(xiàn)的效果,面部細(xì)節(jié)更加豐富自然,畫質(zhì)更出色。

參評(píng)理由:

MegActor 是曠視研究院的最新研究成果。在目前的人像視頻生成領(lǐng)域,許多工作通常使用高質(zhì)量的閉源自采數(shù)據(jù)進(jìn)行訓(xùn)練,以追求更好的效果。而曠視研究院始終堅(jiān)持全面開源,確保實(shí)際效果的可復(fù)現(xiàn)性。MegActor 的訓(xùn)練數(shù)據(jù)全部來自公開可獲取的開源數(shù)據(jù)集,配合開源代碼,使得感興趣的從業(yè)者可以從頭開始完整復(fù)現(xiàn)這些令人驚艷的效果。

為了完全復(fù)刻原始視頻的表情和動(dòng)作,MegActor 采用了原始圖像進(jìn)行驅(qū)動(dòng),這與多數(shù)廠商使用 sketch、pose、landmark 的中間表示皆然不同,能夠捕捉到細(xì)致的表情和運(yùn)動(dòng)信息。

在 AI 視頻生成領(lǐng)域,我們發(fā)現(xiàn)目前主流的骨骼關(guān)鍵點(diǎn)控制方式不僅要求用戶提供難以獲取的專業(yè)控制信號(hào),同時(shí)生成視頻相較于原肖像的保真程度也不盡如人意。通過一系列研究發(fā)現(xiàn),使用原視頻進(jìn)行驅(qū)動(dòng),不僅將幫助用戶降低控制信號(hào)的門檻,更能生成更加保真且動(dòng)作一致的視頻。

為此,MegActor 開創(chuàng)性地采用了條件擴(kuò)散模型。首先,它引入了一個(gè)合成數(shù)據(jù)生成框架,用于創(chuàng)建具有一致動(dòng)作和表情但不一致身份 ID 的視頻,以減輕身份泄露的問題。其次,MegActor 分割了參考圖像的前景和背景,并使用 CLIP 對(duì)背景細(xì)節(jié)進(jìn)行編碼。這些編碼的信息隨后通過文本嵌入模塊集成到網(wǎng)絡(luò)中,從而確保了背景的穩(wěn)定性。

在數(shù)據(jù)訓(xùn)練方面,曠視研究院團(tuán)隊(duì)僅使用公開的數(shù)據(jù)集進(jìn)行訓(xùn)練,處理了 VFHQ 和 CeleV 數(shù)據(jù)集進(jìn)行訓(xùn)練,總時(shí)長(zhǎng)超過 700 小時(shí)。同時(shí),為了避免 ID 泄露問題,MegActor 還使用換臉和風(fēng)格化方法 1:1 生成合成數(shù)據(jù),實(shí)現(xiàn)表情和動(dòng)作一致、但 ID 不一致的數(shù)據(jù)。此外,為了提高對(duì)大范圍動(dòng)作和夸張表情的模仿能力,團(tuán)隊(duì)使用注視檢測(cè)模型對(duì)數(shù)據(jù)進(jìn)行處理,獲取大約 5% 的高質(zhì)量數(shù)據(jù)進(jìn)行 Finetune 訓(xùn)練。

歡迎投票

本屆 “OFweek 9th AI Awards 2024” 活動(dòng)于 7 月 1 日已經(jīng)進(jìn)入投票階段,請(qǐng)關(guān)注維科網(wǎng)人工智能相關(guān)評(píng)選新聞,歡迎踴躍投票。

人工智能年度評(píng)選專題鏈接:
http://m.xxsdgt.com/award/2024/AI/

投票鏈接:
pc:http://m.xxsdgt.com/award/2024/AI/vote/
wap:http://m.xxsdgt.com/award/2024/AI/vote/wap/

聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點(diǎn)?帽菊靖寮瑒(wù)經(jīng)書面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責(zé)任。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評(píng)論

暫無評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)