訂閱
糾錯(cuò)
加入自媒體

人工智能之深度學(xué)習(xí)(DL)

通過(guò)上一篇文章《人工智能之機(jī)器學(xué)習(xí)(ML)》,我們清楚地認(rèn)識(shí)到人工智能(AI)是一門(mén)科學(xué),機(jī)器學(xué)習(xí)(ML)是目前最主流的人工智能實(shí)現(xiàn)方法,而深度學(xué)習(xí)(DL)則是機(jī)器學(xué)習(xí)(ML)的一個(gè)分支,也是當(dāng)下最流行的機(jī)器學(xué)習(xí)(ML)的一種。

人工智能之深度學(xué)習(xí)(DL)

深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域是一個(gè)很熱的概念,經(jīng)過(guò)媒體和大V等炒作,這個(gè)概念變得近乎有些神話的感覺(jué),下面讓我來(lái)慢慢揭開(kāi)深度學(xué)習(xí)的神秘面紗。^_^

深度學(xué)習(xí)(DeepLearning)的概念由Hinton等人于2006年提出;谏疃戎眯啪W(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法,為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望,隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。此外Lecun等人提出的卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正多層結(jié)構(gòu)學(xué)習(xí)算法,它利用空間相對(duì)關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。

那么究竟什么是深度學(xué)習(xí)呢?

深度學(xué)習(xí)(DL)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法,是一種能夠模擬出人腦的神經(jīng)結(jié)構(gòu)的機(jī)器學(xué)習(xí)方法。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。而人工神經(jīng)網(wǎng)絡(luò)ANN(Artificial Neural Network)是從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象,建立某種簡(jiǎn)單模型,按不同的連接方式組成不同的網(wǎng)絡(luò),簡(jiǎn)稱(chēng)為神經(jīng)網(wǎng)絡(luò)或類(lèi)神經(jīng)網(wǎng)絡(luò)。因此,深度學(xué)習(xí)又叫深層神經(jīng)網(wǎng)絡(luò)DNN(Deep Neural Networks),是從之前的人工神經(jīng)網(wǎng)絡(luò)ANN模型發(fā)展而來(lái)的。

人工智能之深度學(xué)習(xí)(DL)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新領(lǐng)域,其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù),比如圖像,聲音和文本等。深度學(xué)習(xí),能讓計(jì)算機(jī)具有人一樣的智慧,其發(fā)展前景必定是無(wú)限的。

同機(jī)器學(xué)習(xí)方法一樣,深度機(jī)器學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)之分.不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同.例如,卷積神經(jīng)網(wǎng)絡(luò)(Convolutionalneural networks,簡(jiǎn)稱(chēng)CNNs)就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型,而深度置信網(wǎng)(DeepBelief Nets,簡(jiǎn)稱(chēng)DBNs)就是一種無(wú)監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。

人工智能之深度學(xué)習(xí)(DL)

深度學(xué)習(xí)所涉及的技術(shù)主要有:線性代數(shù)、概率和信息論、欠擬合、過(guò)擬合、正則化、最大似然估計(jì)和貝葉斯統(tǒng)計(jì)、隨機(jī)梯度下降、監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)、深度前饋網(wǎng)絡(luò)、代價(jià)函數(shù)和反向傳播、正則化、稀疏編碼和dropout、自適應(yīng)學(xué)習(xí)算法、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)和深度堆疊網(wǎng)絡(luò)、LSTM長(zhǎng)短時(shí)記憶、主成分分析、正則自動(dòng)編碼器、表征學(xué)習(xí)、蒙特卡洛、受限波茲曼機(jī)、深度置信網(wǎng)絡(luò)、softmax回歸、決策樹(shù)和聚類(lèi)算法、KNN和SVM、生成對(duì)抗網(wǎng)絡(luò)和有向生成網(wǎng)絡(luò)、機(jī)器視覺(jué)和圖像識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別和機(jī)器翻譯、有限馬爾科夫、動(dòng)態(tài)規(guī)劃、梯度策略算法和增強(qiáng)學(xué)習(xí)(Q-learning)等等。

人工智能之深度學(xué)習(xí)(DL)

討論深度學(xué)習(xí),肯定會(huì)講到“深度(Depth)”一詞,“深度”即層數(shù)。從一個(gè)輸入中產(chǎn)生一個(gè)輸出所涉及的計(jì)算可以通過(guò)一個(gè)流向圖(flowgraph)來(lái)表示:流向圖是一種能夠表示計(jì)算的圖,在這種圖中每一個(gè)節(jié)點(diǎn)表示一個(gè)基本的計(jì)算以及一個(gè)計(jì)算的值,計(jì)算的結(jié)果被應(yīng)用到這個(gè)節(jié)點(diǎn)的子節(jié)點(diǎn)的值。考慮這樣一個(gè)計(jì)算集合,它可以被允許在每一個(gè)節(jié)點(diǎn)和可能的圖結(jié)構(gòu)中,并定義了一個(gè)函數(shù)族。輸入節(jié)點(diǎn)沒(méi)有父節(jié)點(diǎn),輸出節(jié)點(diǎn)沒(méi)有子節(jié)點(diǎn)。這種流向圖的一個(gè)特別屬性是深度(depth):從一個(gè)輸入到一個(gè)輸出的最長(zhǎng)路徑長(zhǎng)度。

深度超過(guò)8層的神經(jīng)網(wǎng)絡(luò)才叫深度學(xué)習(xí)。含多個(gè)隱層的多層學(xué)習(xí)模型是深度學(xué)習(xí)的架構(gòu)。深度學(xué)習(xí)可以通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征,以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

深度學(xué)習(xí)的”深度“是指從”輸入層“到”輸出層“所經(jīng)歷層次的數(shù)目,即”隱藏層“的層數(shù),層數(shù)越多,深度也越深。所以越是復(fù)雜的選擇問(wèn)題,越需要深度的層次多。除了層數(shù)多外,每層”神經(jīng)元“-黃色小圓圈的數(shù)目也要多。例如,AlphaGo的策略網(wǎng)絡(luò)是13層,每一層的神經(jīng)元數(shù)量為192個(gè)。

深度學(xué)習(xí)可通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)復(fù)雜函數(shù)逼近,表征輸入數(shù)據(jù)分布式表示,并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)。

深度學(xué)習(xí)的實(shí)質(zhì),是通過(guò)構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型海量的訓(xùn)練數(shù)據(jù),來(lái)學(xué)習(xí)更有用的特征,從而最終提升分類(lèi)或預(yù)測(cè)的準(zhǔn)確性。因此,“深度模型”是手段,“特征學(xué)習(xí)”是目的。深度學(xué)習(xí)強(qiáng)調(diào)了模型結(jié)構(gòu)的深度,突出了特征學(xué)習(xí)的重要性,通過(guò)逐層特征變換,將樣本在原空間的特征表示變換到一個(gè)新特征空間,從而使分類(lèi)或預(yù)測(cè)更加容易。與人工規(guī)則構(gòu)造特征的方法相比,利用大數(shù)據(jù)來(lái)學(xué)習(xí)特征,更能夠刻畫(huà)數(shù)據(jù)的豐富內(nèi)在信息。

1  2  下一頁(yè)>  
聲明: 本文由入駐維科號(hào)的作者撰寫(xiě),觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)