OPPO小布推出預(yù)訓(xùn)練大模型OBERT,晉升KgCLUE榜首
近日,OPPO小布助手團(tuán)隊(duì)和機(jī)器學(xué)習(xí)部聯(lián)合完成了十億參數(shù)模型“OBERT”的預(yù)訓(xùn)練,業(yè)務(wù)上取得了4%以上的提升;在行業(yè)對(duì)比評(píng)測(cè)中,OBERT躍居中文語(yǔ)言理解測(cè)評(píng)基準(zhǔn)CLUE1.1總榜第五名、大規(guī)模知識(shí)圖譜問答KgCLUE1.0排行榜第一名,在十億級(jí)模型上進(jìn)入第一梯隊(duì),多項(xiàng)子任務(wù)得分與排前3名的百億參數(shù)模型效果非常接近,而參數(shù)量?jī)H為后者的十分之一,更有利于大規(guī)模工業(yè)化應(yīng)用。
CLUE1.1總榜,共9個(gè)子任務(wù)
KgCLUE1.0,知識(shí)圖譜問答榜
技術(shù)全自研,小布推動(dòng)十億級(jí)預(yù)訓(xùn)練大模型落地
大規(guī)模預(yù)訓(xùn)練模型的出現(xiàn),為自然語(yǔ)言處理任務(wù)帶來了新的求解范式,也顯著地提升了各類NLP任務(wù)的基準(zhǔn)效果。自2020年,OPPO小布助手團(tuán)隊(duì)開始對(duì)預(yù)訓(xùn)練模型進(jìn)行探索和落地應(yīng)用,從“可大規(guī)模工業(yè)化”的角度出發(fā),先后自研了一億、三億和十億參數(shù)量的預(yù)訓(xùn)練模型OBERT。
預(yù)訓(xùn)練模型開發(fā)&應(yīng)用方案
得益于數(shù)據(jù)獲取的低成本性和語(yǔ)言模型強(qiáng)大的遷移能力,目前NLP預(yù)訓(xùn)練主流的任務(wù)是基于分布式假設(shè)的語(yǔ)言模型。在此,小布助手團(tuán)隊(duì)選擇了在下游自然語(yǔ)言理解類(NLU)任務(wù)上有更好效果的MLM,并采用課程學(xué)習(xí)作為主要預(yù)訓(xùn)練策略,由易到難循序漸進(jìn),提高訓(xùn)練穩(wěn)定性。首先在一億級(jí)模型上驗(yàn)證了以上mask策略的有效性,其Zero-shot效果顯著優(yōu)于開源base級(jí)模型,下游應(yīng)用時(shí)也取得了收益,隨后將其應(yīng)用到十億級(jí)模型訓(xùn)練中。
ZeroCLUE榜單
值得一提的是,從開源工作實(shí)驗(yàn)結(jié)果來看,語(yǔ)料的數(shù)量和內(nèi)容多樣性越大,下游任務(wù)效果會(huì)隨之提升;谇捌诘奶剿骱蛧L試,十億級(jí)OBERT模型清洗和收集了1.6 TB級(jí)語(yǔ)料,通過5種mask機(jī)制從中學(xué)習(xí)語(yǔ)言知識(shí),內(nèi)容包含百科、社區(qū)問答、新聞等,場(chǎng)景涉及意圖理解、多輪聊天、文本匹配等NLP任務(wù)。
加強(qiáng)應(yīng)用創(chuàng)新,小布持續(xù)深耕NLP技術(shù)
CLUE(中文語(yǔ)言理解評(píng)測(cè)集合)榜單是中文領(lǐng)域最具權(quán)威的自然語(yǔ)言理解榜單之一,開設(shè)了包括分類、文本相似度、閱讀理解、上下文推理等共10個(gè)子任務(wù),旨在推動(dòng)NLP訓(xùn)練模型技術(shù)的不斷進(jìn)步和突破。
NLP(自然語(yǔ)言處理)技術(shù)被譽(yù)為人工智能皇冠上的明珠。作為人工智能認(rèn)知能力的核心,NLP是AI領(lǐng)域最具挑戰(zhàn)的賽道之一,其目的是使得計(jì)算機(jī)具備人類的聽、說、讀、寫等能力,并利用知識(shí)和常識(shí)進(jìn)行推理和決策。
小布助手發(fā)布于2019年,到2021年底,它已經(jīng)累計(jì)搭載2.5 億設(shè)備,月活用戶數(shù)突破1.3 億,月交互次數(shù)達(dá)20 億,成為國(guó)內(nèi)首個(gè)月活用戶數(shù)破億的手機(jī)語(yǔ)音助手,一躍成為國(guó)內(nèi)新一代智能助手的代表。
在NLP技術(shù)方面,小布助手經(jīng)歷了從規(guī)則引擎、簡(jiǎn)單模型到強(qiáng)深度學(xué)習(xí),再到預(yù)訓(xùn)練模型幾個(gè)階段。歷經(jīng)3年的發(fā)展,小布助手在NLP技術(shù)領(lǐng)域已達(dá)到行業(yè)領(lǐng)先水平,此次OBERT位列CLUE 1.1總榜前五、KgCLUE 1.0排行榜榜首,便是小布助手技術(shù)沉淀與積累的最好力證。
登榜CLUE 1.1總榜并登頂KgCLUE 1.0排行榜,主要得益于三個(gè)方面:一是利用小布助手積累的海量數(shù)據(jù),獲得口語(yǔ)化的語(yǔ)言數(shù)據(jù),促進(jìn)算法模型對(duì)智能助手場(chǎng)景的語(yǔ)言有更好的理解;二是保持著開放的成長(zhǎng)型心態(tài),跟進(jìn)學(xué)術(shù)界和工業(yè)界最新的進(jìn)展并加以實(shí)踐;三是堅(jiān)定地在最新預(yù)訓(xùn)練模型方向進(jìn)行投入,一點(diǎn)一點(diǎn)地去做技術(shù)積累,一次一次地探索落地應(yīng)用。
未來,小布助手團(tuán)隊(duì)會(huì)結(jié)合智能助手場(chǎng)景特點(diǎn),持續(xù)優(yōu)化預(yù)訓(xùn)練技術(shù),深耕NLP,利用模型輕量化等技術(shù)加速大模型落地,并持續(xù)探索AI與主動(dòng)情感的結(jié)合,讓智能更人性化,在萬(wàn)物互融的時(shí)代,助力推動(dòng)AI大放異彩,幫助AI潤(rùn)物細(xì)無(wú)聲地融入人們未來的數(shù)智生活。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無(wú)人駕駛車,還未迎來“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 6 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 7 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 8 神經(jīng)網(wǎng)絡(luò),誰(shuí)是盈利最強(qiáng)企業(yè)?
- 9 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 10 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市