訂閱
糾錯(cuò)
加入自媒體

超越谷歌微軟,阿里達(dá)摩院AI預(yù)訓(xùn)練模型M6參數(shù)規(guī)模破10萬(wàn)億

11月8日消息,阿里巴巴達(dá)摩院公布多模態(tài)大模型M6最新進(jìn)展,其參數(shù)已從萬(wàn)億躍遷至10萬(wàn)億,規(guī)模遠(yuǎn)超谷歌、微軟此前發(fā)布的萬(wàn)億級(jí)模型,成為全球最大的AI預(yù)訓(xùn)練模型。同時(shí),M6做到了業(yè)內(nèi)極致的低碳高效,使用512塊GPU在10天內(nèi)即訓(xùn)練出具有可用水平的10萬(wàn)億模型。相比去年發(fā)布的大模型GPT-3,M6實(shí)現(xiàn)同等參數(shù)規(guī)模,能耗為其1%。

超越谷歌微軟,阿里達(dá)摩院AI預(yù)訓(xùn)練模型M6參數(shù)規(guī)模破10萬(wàn)億

【什么是超大規(guī)模預(yù)訓(xùn)練模型】

目前,人工智能正迅速普及并應(yīng)用到人們的日常生活,但仔細(xì)觀察會(huì)發(fā)現(xiàn),這些技術(shù)主要集中在“感知層面”,比如聽覺(jué)、視覺(jué)等。但需要外部知識(shí)、邏輯推理的“認(rèn)知層面”,人工智能尚處于初級(jí)階段。

“認(rèn)知智能”被認(rèn)為是下一代人工智能的關(guān)鍵性突破。而超大規(guī)模預(yù)訓(xùn)練模型則被認(rèn)為是認(rèn)知智能的基礎(chǔ)設(shè)施。

當(dāng)前,企業(yè)應(yīng)用AI技術(shù)面臨前期投入大、開發(fā)時(shí)間長(zhǎng)等痛點(diǎn),AI技術(shù)高昂的使用門檻將絕大多數(shù)企業(yè)拒之門外。Gartner的研究報(bào)告顯示,37%的企業(yè)已經(jīng)或即將部署AI模型,但仍有大量中小企業(yè)未享受到人工智能技術(shù)帶來(lái)的利好。大規(guī)模預(yù)訓(xùn)練模型的出現(xiàn)或?qū)氐赘淖內(nèi)斯ぶ悄艿膽?yīng)用現(xiàn)狀。

大規(guī)模預(yù)訓(xùn)練模型基于復(fù)雜的預(yù)訓(xùn)練目標(biāo)和龐大的模型參數(shù),將豐富的知識(shí)存儲(chǔ)到大量參數(shù)的隱式編碼中,使其能夠完成多種下游任務(wù),即便是新任務(wù),也能夠通過(guò)動(dòng)態(tài)學(xué)習(xí)來(lái)完成。

借助大規(guī)模預(yù)訓(xùn)練模型, 企業(yè)應(yīng)用AI技術(shù)的前期投入將大幅下降,其不再需要前期就投入大量資金和時(shí)間研發(fā)定制化模型。

2020年8月,GPT-3模型的面世可謂人類AI史的里程碑事件。GPT-3是美國(guó)非盈利機(jī)構(gòu)OpenAI發(fā)布的GPT第三代模型,被譽(yù)為“最接近通用人工智能”的模型。GPT-3不僅支持多種不同類型的任務(wù), 包括改語(yǔ)法錯(cuò)誤、寫文章( 寫詩(shī)) 、聊天、算數(shù)、答題、翻譯等, 還能夠通過(guò)小樣本動(dòng)態(tài)學(xué)習(xí), 解決從未遇到過(guò)的任務(wù), 從而具備成為通用解決方案的能力。

【阿里達(dá)摩院的超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型M6】

鑒于大規(guī)模預(yù)訓(xùn)練模型的強(qiáng)大與高效, 國(guó)內(nèi)頭部科研機(jī)構(gòu)如阿里、華為、智源研究院也都先后發(fā)布了自研的大規(guī)模預(yù)訓(xùn)練模型。

其中,M6是由阿里達(dá)摩院聯(lián)合清華大學(xué)研發(fā),中國(guó)首個(gè)萬(wàn)億參數(shù)的超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型。

超越谷歌微軟,阿里達(dá)摩院AI預(yù)訓(xùn)練模型M6參數(shù)規(guī)模破10萬(wàn)億

據(jù)悉,M6的優(yōu)勢(shì)在于將大模型所需算力壓縮到極致,通過(guò)一系列技術(shù)突破,達(dá)摩院和阿里云只用了480塊GPU就訓(xùn)練出了M6,相比英偉達(dá)用3072塊GPU訓(xùn)練萬(wàn)億模型、谷歌用2048塊TPU訓(xùn)練1.6萬(wàn)億模型(1 TPU約等于2~3GPU),M6省了超過(guò)八成算力,還將效率提升了近11倍。

阿里達(dá)摩院的M6定位是主打多模態(tài)、多任務(wù)能力,目標(biāo)是成為全球領(lǐng)先的具有通用性的人工智能大模型。

【M6的商業(yè)化應(yīng)用】

隨著M6參數(shù)規(guī)模的擴(kuò)大,AI的認(rèn)知和創(chuàng)造能力不斷升級(jí)。阿里研究人員發(fā)現(xiàn),M6在繪畫、寫作、問(wèn)答、文字生成圖片領(lǐng)域均有驚人的表現(xiàn),可以生成1024*1024分辨率宛如實(shí)物的高清圖片,比此前海外公司OpenAI最高紀(jì)錄提升4倍。

不僅如此,M6更是首個(gè)真正進(jìn)入商用的多模態(tài)通用大模型。目前,M6已作為AI小助理在阿里新制造平臺(tái)犀牛智造上崗,可實(shí)現(xiàn)快速設(shè)計(jì)、試穿效果模擬。M6還已應(yīng)用在支付寶、淘寶等平臺(tái),參與跨模態(tài)搜索、文案撰寫、圖片設(shè)計(jì)等工作。

超越谷歌微軟,阿里達(dá)摩院AI預(yù)訓(xùn)練模型M6參數(shù)規(guī)模破10萬(wàn)億

M6根據(jù)文本內(nèi)容,自動(dòng)設(shè)計(jì)特定風(fēng)格圖片

舉個(gè)例子,按照淘寶目前的搜索系統(tǒng),用戶在淘寶上搜索商品名稱或類別時(shí),通常會(huì)用到關(guān)鍵詞搜索,但對(duì)于用戶一些十分特別的商品特征需求,商家未必能夠把特征關(guān)鍵詞全部羅列出來(lái)。比如,用戶可能想要尋找一個(gè)表面凹凸的咖啡杯,但商家一般不會(huì)把這樣的細(xì)節(jié)寫在商品描述中,用戶難以快速搜索到這種商品。

但多模態(tài)大模型M6可以做到,目前M6已建立了從文本到圖片的匹配能力。這意味著,AI通過(guò)識(shí)別圖片就可以知道商品的所有細(xì)節(jié)特征,AI會(huì)把這些細(xì)節(jié)特征記錄成文本,用戶無(wú)論搜索什么“奇葩”的特征,系統(tǒng)都能幫用戶找到相對(duì)應(yīng)的商品。

未來(lái),M6或?qū)⒔奈淖值揭曨l內(nèi)容的認(rèn)知能力,為搜索形態(tài)帶來(lái)變革。

聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點(diǎn)?帽菊靖寮瑒(wù)經(jīng)書面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責(zé)任。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)