深度學(xué)習(xí)三巨頭之Yoshua Bengio暢談AI如何才能說(shuō)“人話”
因果邏輯關(guān)系是機(jī)器“吃透”人類語(yǔ)言的關(guān)鍵
研究發(fā)現(xiàn)很多實(shí)驗(yàn)室數(shù)據(jù)其實(shí)是無(wú)效的,一旦環(huán)境改變了,人工智能就會(huì)“一臉懵圈”,背后的原因是關(guān)系紐帶的不對(duì),比如圖像識(shí)別,實(shí)驗(yàn)者認(rèn)為引發(fā)人工智能做出判斷的因素是圖片的紋理和顏色,而實(shí)際上人類在識(shí)別圖像時(shí)還會(huì)考慮因果關(guān)系,這就是差別。
為了攻克這方面的缺陷,科學(xué)家們提出了深度生成模型,它的優(yōu)勢(shì)在于通過(guò)激勵(lì)人工智能在訓(xùn)練中預(yù)測(cè)未來(lái),從而通過(guò)培養(yǎng)模型的因果邏輯性提升輸出的準(zhǔn)確性,以及深層對(duì)抗模型可以不斷提升輸出的準(zhǔn)確性,更重要的是人工智能通過(guò)訓(xùn)練最終具備預(yù)測(cè)未來(lái)以及制定計(jì)劃的能力。
在機(jī)器學(xué)習(xí)的訓(xùn)練中,不僅需要注意因果邏輯,還需要注意用于訓(xùn)練的樣本數(shù)據(jù)需要遵循獨(dú)立同分布原則(Independent and identically distributed):關(guān)注用于訓(xùn)練的數(shù)據(jù)集的代表性和遷移性,樣本數(shù)據(jù)的分布特征必須和測(cè)試用數(shù)據(jù)集、母體數(shù)據(jù)保持一致,研究發(fā)現(xiàn)確保數(shù)據(jù)分布一致性可強(qiáng)化訓(xùn)練模型的因果邏輯推理能力。
人工智能娃娃游戲平臺(tái)(BabyAIgame)
人工智能娃娃游戲平臺(tái)模仿嬰兒的成長(zhǎng)過(guò)程,設(shè)置了‘學(xué)習(xí)者’和‘人類’的游戲或場(chǎng)景。學(xué)習(xí)者就是‘babyAI’,我們?yōu)閷W(xué)習(xí)者設(shè)計(jì)任務(wù),任務(wù)以自然語(yǔ)言的形式出現(xiàn),比如去某個(gè)地方、打開、撿、放等,通過(guò)與人類用自然語(yǔ)言互動(dòng)幫助學(xué)習(xí)者理解周圍的環(huán)境。
從科學(xué)實(shí)驗(yàn)的角度出發(fā),項(xiàng)目的實(shí)施過(guò)程將會(huì)是趣味性十足的!
首先,大量的人機(jī)交互數(shù)據(jù)(尤其是語(yǔ)言)將會(huì)被收集,隨著玩家(人類)越來(lái)越多,數(shù)據(jù)庫(kù)也會(huì)越來(lái)越大。
另外,游戲甚至允許人類玩家在游戲中自行設(shè)計(jì)任務(wù),任務(wù)難度逐漸提升。
該項(xiàng)目最大的挑戰(zhàn)來(lái)自于樣本數(shù)據(jù)的復(fù)雜性,哪怕只是非常簡(jiǎn)單的任務(wù),比如讓計(jì)算機(jī)挪動(dòng)小件物體,對(duì)于訓(xùn)練用的數(shù)據(jù)量要求也是非常巨大的,因此我們首先需要海量的數(shù)據(jù)服務(wù)于這個(gè)雄心勃勃的計(jì)劃:記錄真實(shí)世界中成年人與嬰兒之間互動(dòng)的數(shù)據(jù)。
“意識(shí)先驗(yàn)”理論:過(guò)濾冗余數(shù)據(jù),降低算力消耗
圖片來(lái)源: Bengio的演講 Challenges for Deep Learning towards Human-Level AI
傳統(tǒng)的深度學(xué)習(xí)理論需要大量的數(shù)據(jù),注意力機(jī)制的出現(xiàn)為解決訓(xùn)練數(shù)據(jù)容量的難題帶來(lái)了解決思路,但僅僅具備無(wú)意識(shí)的認(rèn)知能力(第一類認(rèn)知系統(tǒng))還遠(yuǎn)遠(yuǎn)不夠。
為了將機(jī)器的推理能力提升到人類水平,我們?cè)诂F(xiàn)有模型的基礎(chǔ)上,增加預(yù)測(cè)未來(lái)的能力,即意識(shí)先驗(yàn)(The Consciousness Prior),直觀的說(shuō)就是人工智能看到“下雨”,聯(lián)想到“人們會(huì)打傘”。
意識(shí)先驗(yàn)借用了注意力機(jī)制的部分原理篩選出少量、“高緯”的數(shù)據(jù),用作大量的預(yù)測(cè)訓(xùn)練,將無(wú)意識(shí)層次的數(shù)據(jù)歸類為“低緯數(shù)據(jù)”,使用少量的、更直接的高層次數(shù)據(jù)提升了模型預(yù)測(cè)和推理能力,也減少了訓(xùn)練用時(shí),最終成為有“意識(shí)”的類人腦。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒(méi)有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無(wú)人駕駛車,還未迎來(lái)“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 6 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 7 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 8 神經(jīng)網(wǎng)絡(luò),誰(shuí)是盈利最強(qiáng)企業(yè)?
- 9 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 10 諾獎(jiǎng)進(jìn)入“AI時(shí)代”,人類何去何從?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市