2020 年是充滿科幻的一年，曾經(jīng)我們暢想飛行汽車、智能洗碗機器人以及能自動寫代碼的程序，然而這一切都沒有發(fā)生。

2020 迎接我們的是澳洲大火、新冠病毒和漫天的蝗蟲�；叵脒^去的十年，我們或許覺得沒有什么科技的發(fā)展可以稱得上是飛躍，然而事實卻是，一切都變了，深度學(xué)習(xí)算法的進(jìn)步和影響就是起哄最明顯的標(biāo)志。

AI 之父 Jürgen Schmidhuber 在自己的 Medium 專欄發(fā)布了一篇文章，回顧了深度學(xué)習(xí)的十年發(fā)展歷程，回頭看看，才發(fā)現(xiàn)我們確實見證了歷史。

自然語言處理

盡管不像深度學(xué)習(xí)中的其他領(lǐng)域那么高大上，但可以說 NLP 算法是迄今為止最復(fù)雜、最成功的算法。這種成功可以歸因于，與圖像和視頻相比，在文本語料庫上進(jìn)行訓(xùn)練相對比較容易。在過去的十年中，NLP 不僅取得了巨大進(jìn)步，而且還成功地成為了各種商業(yè)應(yīng)用中的重要組成部分。正如你將在下文中注意到的那樣，Google 的研究人員在改善 NLP 算法方面發(fā)揮了最重要的作用，不過實話說，幾乎所有全球研究實驗室都為這一領(lǐng)域的發(fā)展做出了貢獻(xiàn)。

圖片：Ontotext

01詞嵌入

在技術(shù)上也稱為分布語義模型，如今，幾乎所有 NLP 算法中都有使用詞嵌入。Bengio 等人早在 2003 年就提出將詞嵌入為向量這一方法。它仍然非常耗費計算資源，并且需要更有效的算法來實現(xiàn)。2013 年，Google 提出了“連續(xù)詞袋模型”（Continuous Bag－of－Words Model， CBOW）和“連續(xù) Skpi－gram”模型，并使用 word2vec 以計算并實現(xiàn)開源，使得詞嵌入技術(shù)得到廣泛應(yīng)用。在 2015 年，斯坦福大學(xué)的研究人員介紹了 GloVe 模型，該模型對詞嵌入算法進(jìn)行了進(jìn)一步改進(jìn)。

圖片：Sebastian Ruder

02LSTM 算法

圖片：Christopher Olah

雖然 LSTM 最初是由 Hochreiter 和 Schmidhuber 早在 1997 年提出的，但在這過去的十年中，它們才真正地受到關(guān)注。盡管許多較新的算法在性能上比 LSTM 表現(xiàn)更好，但它們在一些商業(yè)上成功的翻譯軟件（例如Google Translate）和 Apple 的 Siri 中仍然發(fā)揮著重要作用。Cho Kyunghyun Cho 等研究人員通過提出門控循環(huán)單元（GRU），為 LSTM 體系結(jié)構(gòu)提供了進(jìn)一步的改進(jìn)。GRU 自然會引導(dǎo)我們進(jìn)行下一個創(chuàng)新……

03Seq2Seq 模型

來自 Google 的 Sutskever 等人在 2014 年推出了現(xiàn)在流行的  Seq2Seq 模型。在先前 RNN、LSTM 和 GRU 相關(guān)工作的基礎(chǔ)上，這種嵌入解碼技術(shù)為 Google Translate 和許多其他 NLP 任務(wù)賦能。在易于實現(xiàn)的同時，這一技術(shù)甚至可以用來創(chuàng)建聊天機器人。

04Transformers

Google Brain 那篇“ 你只需要注意力就夠了”（Attention is All You Need）論文可是引起了一場轟動。通過將焦點僅集中在數(shù)據(jù)的重要組成部分上，這樣的注意力可以提供比 LSTM 更優(yōu)秀的表現(xiàn)，并且所需的計算量也更小。

05BERT

圖片：YNG Media

在十年結(jié)束之前，谷歌再次在 NLP 方面取得了突破：BERT 模型。它是一種可同時從左向右以及從右向左考慮文本的語言表示模型。雖然可以說谷歌研究人員的確有助力于公司平臺無與倫比的處理能力而在多項 NLP 任務(wù)中達(dá)到了最先進(jìn)的水平，模型本身也真的是非常靈活多變。經(jīng)過預(yù)訓(xùn)練的 BERT 模型可以通過簡單添加額外的輸出層來適應(yīng)幾乎任何任務(wù)。

06語音助手

圖片：Business Insider ／ Yu Han

2011 年 10 月發(fā)布的 iPhone 4S 是第一款集成 Siri 的蘋果產(chǎn)品。這在智能手機領(lǐng)域是革命性的，因為這是首次向大眾商業(yè)市場提供與未來人工智能密切相關(guān)的技術(shù)。目前市場上充滿了語音助手，它們在諸如語音識別、語音轉(zhuǎn)文本、文本翻譯等一系列任務(wù)上的表現(xiàn)都非常出色。想要知道這一技術(shù)有多么普遍的話，你可以隨便走入任何一家稍微與科技接軌的家庭，喊出“ Alexa！”——您很可能會聽到熟悉的聲音回復(fù)呢。

計算機視覺

圖片：Ilija Mihajlovic

人工智能是人工智能領(lǐng)域中最令人興奮和研究最多的領(lǐng)域之一。從進(jìn)化型自動駕駛汽車到已成為智能手機常見功能的人臉識別，計算機視覺無處不在。盡管這十年來主要是研究實驗室希望挑戰(zhàn)計算機視覺任務(wù)的最新結(jié)果，我們?nèi)匀粐?yán)重依賴于數(shù)據(jù)數(shù)量和機器處理能力。

01CNN

圖片：Google

福島在 1980 年提出了第一個深度神經(jīng)網(wǎng)絡(luò)，隨后是 Yann LeCun 發(fā)明的我們今天所知的卷積神經(jīng)網(wǎng)絡(luò)（LeNet）。但是，盡管 CNN 已出現(xiàn)了很多年，它們似乎僅僅在最近十年中才進(jìn)入主流視野。

現(xiàn)在是計算機視覺任務(wù)的標(biāo)準(zhǔn)化基準(zhǔn)的 ImageNet 于 2010 年才開始年度競賽。2012 年，來自多倫多大學(xué)的 Krizhevsky 等人在此項競賽中提出了 AlexNet，它大大擊敗了 ImageNet 中的現(xiàn)有算法。這為接下來的十年中激烈競爭設(shè)計最佳 CNN 的各大實驗室奠定了技術(shù)基礎(chǔ)。

在接下來的幾年中，我們看到了幾種著名的 CNN 變體，例如 VGG 神經(jīng)網(wǎng)絡(luò)、提出更深的網(wǎng)絡(luò)性能更好的 Inception，以及甚至更深層的殘差學(xué)習(xí)框架 ResNet。盡管 CNN 架構(gòu)的發(fā)展一直在快速發(fā)展，但最近的重點已經(jīng)轉(zhuǎn)移到了魯棒性和效率而非僅僅是準(zhǔn)確性上。大眾對未來的希望是將這些高性能的 CNN 引入商業(yè)應(yīng)用。

02全能的 GANs

圖片：Sarvasv Kulpati／Sigmoid

自 2014 年 Goodfellow 提出了 GANs（Generative Adversarial Networks，生成對抗網(wǎng)絡(luò)），它現(xiàn)在已成為深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域最新和最成功的突破之一。它開辟了 AI 的全新應(yīng)用領(lǐng)域，而且我認(rèn)為它代表了深度學(xué)習(xí)中最直觀的架構(gòu)之一。

時至今日，GANs 在研究界非常流行，以至于你能發(fā)現(xiàn)各種名稱的 GANs。他們使用 X－GAN 規(guī)則命名，其中 X 代表你給自己的 GAN 所取的有趣的名字。這對他們的實用性絲毫無損，GANs 已被發(fā)現(xiàn)在多種任務(wù)中都表現(xiàn)出色。只有時間能夠證明，是否它的發(fā)現(xiàn)標(biāo)志著 AI 演進(jìn)中的一個重要里程碑。

03AI 的藝術(shù)

圖片：Christie’s

由 GANs 和類似深度學(xué)習(xí)模型的成功所推動，AI 進(jìn)入了一個新方向，它模糊了真實的與 AI 生成的輸出之間的界限。我們現(xiàn)在擁有的 AI，可以為你描繪一幅美麗的藝術(shù)品，能創(chuàng)作和演奏歌曲，能生成文字故事，還能人工模擬很多事情。對于這些 deepfakes，大家顯然有擔(dān)憂；但也有一些人開始慢慢接受這種新的藝術(shù)潮流進(jìn)入我們的文化。2018 年 12 月 12 日，佳士得拍賣了一副 AI 創(chuàng)作的肖像畫，拍賣價格高達(dá) 432500 美元！

04自動駕駛汽車

圖片：DownToEarth

不論你是否支持，它將最終發(fā)生，任何事情都無法阻止我們?nèi)粘Ｉ�活中的這個巨大改變。在 21 世紀(jì)的前 10 年，自動駕駛汽車已變成商業(yè)現(xiàn)實，所有主要的技術(shù)和汽車公司都為此投入巨資。雖然自動駕駛汽車沒成為這 10 年的重大革命，但他們已經(jīng)奠定了堅實的基礎(chǔ)，并在下個 10 年大發(fā)展。如果你想了解這對我們意味著什么，可以查閱我們關(guān)于 AI 倫理的文章：自動駕駛汽車。

強化學(xué)習(xí)

圖片：Intel AI

強化學(xué)習(xí)是全功能機器人的核心，其目標(biāo)就是設(shè)計出能像人一樣，學(xué)會實現(xiàn)基于獎勵的任務(wù)的 AI。不像本文討論的其他領(lǐng)域，強化學(xué)習(xí)是完全無監(jiān)督學(xué)習(xí)，模型缺乏事先可供學(xué)習(xí)的正確數(shù)據(jù)。模型要學(xué)會在獎勵最大化的前提下，對可能的解決方案排序。對于這種新技術(shù)，研究界也花費了時間去采納。但從這個世紀(jì)之初，強化學(xué)習(xí)就已經(jīng)成為所有主要實驗室深度學(xué)習(xí)研究的一個普遍組成部分。

01玩 Atari 的 DQN

圖片：DeepMind

DeepMind 將深度強化學(xué)習(xí)應(yīng)用在 Atari 游戲環(huán)境中玩復(fù)雜游戲。深度學(xué)習(xí)模型成功擊敗人類游戲?qū)＜业於�了深度強化學(xué)習(xí)在 AI 研究領(lǐng)域的領(lǐng)先地位。來年，Google 收購了 DeepMind 實驗室……

02AlphaGo 點亮新開端

是的，甚至有一部名為“AlphaGo Movie”的電影。

沒有比 Google 的 DeepMind AlphaGo 打敗職業(yè)圍棋世界冠軍更合適的例證，來說明這十年強化學(xué)習(xí)的普及。他們更進(jìn)了一步，沒有任何人類監(jiān)督學(xué)習(xí)，AlphaGo Master 設(shè)法以 3－0 打敗了世界排名第一的圍棋選手。這個事件包攬了全球頭條，并使 AI 算法普及成為主流。AI 目前能在復(fù)雜賽事最高級別競賽中擊敗人類，這是非常了不起的成就。

03機器人

索菲亞并非我們所期望的機器人。圖片：ELLE

強化學(xué)習(xí)模型最關(guān)鍵的應(yīng)用是設(shè)計機器人。我們目前仍在等待能安全部署在家中實用的商用機器人。盡管機器人在持續(xù)改進(jìn)，但他們作為實用工具（而非娛樂工具）尚不盡人意。機器人應(yīng)用包括了機器人手術(shù)臂、太空探索機器人和工業(yè)機器人。設(shè)計各種各樣實際工作的機器人，并確保它在任意環(huán)境中的性能，是項挑戰(zhàn)。在監(jiān)督環(huán)境中訓(xùn)練機器人的能力有明顯瓶頸，因此，研究者們期待基于獎勵的深度強化學(xué)習(xí)能成為一個解決方案。

下一個十年會怎樣？

在見證了深度學(xué)習(xí)革命性的十年，我們確信接下來的十年應(yīng)該令我們所有人興奮。在這十年中，AI 將接手大部分的工作嗎（通常的小報標(biāo)題）？我們能夠優(yōu)化深度學(xué)習(xí)模型，從而在日常工作中持續(xù)使用嗎？接下來的內(nèi)容將會回答這些擔(dān)心。

01量子計算

圖片：Cisco

在過去十年里，物理學(xué)本身在探究量子力學(xué)方面取得了長足的進(jìn)步，但我們即將見證一場技術(shù)上的巨大革命。量子計算的目標(biāo)是利用量子迭加和糾纏原理，提供領(lǐng)先于我們現(xiàn)有系統(tǒng)數(shù)光年的計算能力。如果我們能夠控制量子位，我們在 21 世紀(jì) 20 年代能完美見證這些量子計算機的威力。盡管對于它可能解密我們現(xiàn)在所有的安全算法存在擔(dān)心，但每項革新，其優(yōu)點都將遠(yuǎn)遠(yuǎn)超過它的缺點。

02無監(jiān)督學(xué)習(xí)

圖片：Analytics India Magazine

今天大多數(shù)深度學(xué)習(xí)模型都嚴(yán)重依賴于海量訓(xùn)練數(shù)據(jù)的可獲取性。這個問題可能的解決方案是元學(xué)習(xí)和小樣本學(xué)習(xí)。元學(xué)習(xí)算法的目的是通過有限任務(wù)的學(xué)習(xí)，學(xué)會如何執(zhí)行大量的新任務(wù)。按照相似的思路，小樣本學(xué)習(xí)算法是通過有限數(shù)量數(shù)據(jù)的學(xué)習(xí)來執(zhí)行任務(wù)。兩者都聚焦于有效表征的泛化。

03淺層學(xué)習(xí)網(wǎng)絡(luò)

圖片：Andrew Ng

更深入會是前進(jìn)的方向嗎？不一定，因為越來越多的研究者正在尋找深度學(xué)習(xí)模型的替代方案。深度模型需要更多的計算和更多的數(shù)據(jù)。雖然深度學(xué)習(xí)毋庸置疑是這十年的明星，但這十年也是一個好時機，可以使深度學(xué)習(xí)能很快被濃縮為提供相似或更好性能的更緊湊、可擴展的模型。

04算力 vs 深度學(xué)習(xí)進(jìn)展

摩爾定律觀察發(fā)現(xiàn)，集成電路上元器件數(shù)量大約每隔 2 年翻一番。自 1975 年摩爾定律提出以來一直顛撲不破，但近 10 年來我們的發(fā)展慢了下來。因此，很多人相信技術(shù)進(jìn)步即將到來，很可能就是我們前文討論的量子計算。這將有助于推動深度學(xué)習(xí)的重大進(jìn)步。

作者 ｜ Jürgen Schmidhuber     編譯 ｜ 張秋玥、馬莉