因果邏輯關(guān)系是機(jī)器“吃透”人類語(yǔ)言的關(guān)鍵

研究發(fā)現(xiàn)很多實(shí)驗(yàn)室數(shù)據(jù)其實(shí)是無(wú)效的，一旦環(huán)境改變了，人工智能就會(huì)“一臉懵圈”，背后的原因是關(guān)系紐帶的不對(duì)，比如圖像識(shí)別，實(shí)驗(yàn)者認(rèn)為引發(fā)人工智能做出判斷的因素是圖片的紋理和顏色，而實(shí)際上人類在識(shí)別圖像時(shí)還會(huì)考慮因果關(guān)系，這就是差別。

為了攻克這方面的缺陷，科學(xué)家們提出了深度生成模型，它的優(yōu)勢(shì)在于通過(guò)激勵(lì)人工智能在訓(xùn)練中預(yù)測(cè)未來(lái)，從而通過(guò)培養(yǎng)模型的因果邏輯性提升輸出的準(zhǔn)確性，以及深層對(duì)抗模型可以不斷提升輸出的準(zhǔn)確性，更重要的是人工智能通過(guò)訓(xùn)練最終具備預(yù)測(cè)未來(lái)以及制定計(jì)劃的能力。

在機(jī)器學(xué)習(xí)的訓(xùn)練中，不僅需要注意因果邏輯，還需要注意用于訓(xùn)練的樣本數(shù)據(jù)需要遵循獨(dú)立同分布原則（Independent and identically distributed）：關(guān)注用于訓(xùn)練的數(shù)據(jù)集的代表性和遷移性，樣本數(shù)據(jù)的分布特征必須和測(cè)試用數(shù)據(jù)集、母體數(shù)據(jù)保持一致，研究發(fā)現(xiàn)確保數(shù)據(jù)分布一致性可強(qiáng)化訓(xùn)練模型的因果邏輯推理能力。

人工智能娃娃游戲平臺(tái)（BabyAIgame）

人工智能娃娃游戲平臺(tái)模仿嬰兒的成長(zhǎng)過(guò)程，設(shè)置了‘學(xué)習(xí)者’和‘人類’的游戲或場(chǎng)景。學(xué)習(xí)者就是‘babyAI’，我們?yōu)閷W(xué)習(xí)者設(shè)計(jì)任務(wù)，任務(wù)以自然語(yǔ)言的形式出現(xiàn)，比如去某個(gè)地方、打開、撿、放等，通過(guò)與人類用自然語(yǔ)言互動(dòng)幫助學(xué)習(xí)者理解周圍的環(huán)境。

從科學(xué)實(shí)驗(yàn)的角度出發(fā)，項(xiàng)目的實(shí)施過(guò)程將會(huì)是趣味性十足的！

首先，大量的人機(jī)交互數(shù)據(jù)（尤其是語(yǔ)言）將會(huì)被收集，隨著玩家（人類）越來(lái)越多，數(shù)據(jù)庫(kù)也會(huì)越來(lái)越大。

另外，游戲甚至允許人類玩家在游戲中自行設(shè)計(jì)任務(wù)，任務(wù)難度逐漸提升。

該項(xiàng)目最大的挑戰(zhàn)來(lái)自于樣本數(shù)據(jù)的復(fù)雜性，哪怕只是非常簡(jiǎn)單的任務(wù)，比如讓計(jì)算機(jī)挪動(dòng)小件物體，對(duì)于訓(xùn)練用的數(shù)據(jù)量要求也是非常巨大的，因此我們首先需要海量的數(shù)據(jù)服務(wù)于這個(gè)雄心勃勃的計(jì)劃：記錄真實(shí)世界中成年人與嬰兒之間互動(dòng)的數(shù)據(jù)。

“意識(shí)先驗(yàn)”理論：過(guò)濾冗余數(shù)據(jù)，降低算力消耗

圖片來(lái)源： Bengio的演講 Challenges for Deep Learning towards Human－Level AI

傳統(tǒng)的深度學(xué)習(xí)理論需要大量的數(shù)據(jù)，注意力機(jī)制的出現(xiàn)為解決訓(xùn)練數(shù)據(jù)容量的難題帶來(lái)了解決思路，但僅僅具備無(wú)意識(shí)的認(rèn)知能力（第一類認(rèn)知系統(tǒng)）還遠(yuǎn)遠(yuǎn)不夠。

為了將機(jī)器的推理能力提升到人類水平，我們?cè)诂F(xiàn)有模型的基礎(chǔ)上，增加預(yù)測(cè)未來(lái)的能力，即意識(shí)先驗(yàn)（The Consciousness Prior），直觀的說(shuō)就是人工智能看到“下雨”，聯(lián)想到“人們會(huì)打傘”。

意識(shí)先驗(yàn)借用了注意力機(jī)制的部分原理篩選出少量、“高緯”的數(shù)據(jù)，用作大量的預(yù)測(cè)訓(xùn)練，將無(wú)意識(shí)層次的數(shù)據(jù)歸類為“低緯數(shù)據(jù)”，使用少量的、更直接的高層次數(shù)據(jù)提升了模型預(yù)測(cè)和推理能力，也減少了訓(xùn)練用時(shí)，最終成為有“意識(shí)”的類人腦。