四、AI 學(xué)者個(gè)人動(dòng)態(tài)

1． 陳文光榮獲 2020 年 “CCF 杰出貢獻(xiàn)獎(jiǎng)”

1 月 18 日,中國(guó)計(jì)算機(jī)協(xié)會(huì)(CCF)公告決定授予智源學(xué)者、清華大學(xué)陳文光教授 2020 年 “CCF 杰出貢獻(xiàn)獎(jiǎng)”,以表彰他為 CSP 的權(quán)威性、專業(yè)性做出的杰出貢獻(xiàn)。該獎(jiǎng)于 2010 年設(shè)立。陳文光,國(guó)內(nèi)系統(tǒng)研究的領(lǐng)軍人物之一,中國(guó)計(jì)算機(jī)學(xué)會(huì)副秘書(shū)長(zhǎng),曾任 ACM 中國(guó)理事會(huì)主席、ACM 中國(guó)操作系統(tǒng)分會(huì) ChinaSys 主席、ACM 通訊中文版主編等。

陳文光的學(xué)者畫像(來(lái)源:AMiner )

2．張正友成騰訊首位 17 級(jí)杰出科學(xué)家

2021 年 1 月 8 日,騰訊 Robotics X 實(shí)驗(yàn)室及騰訊 AI Lab 負(fù)責(zé)人張正友博士成為騰訊首位 17 級(jí)研究員 / 杰出科學(xué)家,17 級(jí)是騰訊歷史上最高的專業(yè)職級(jí)。張正友領(lǐng)導(dǎo)創(chuàng)建了機(jī)器人實(shí)驗(yàn)室 Robotics X,并致力推進(jìn)人機(jī)協(xié)作的下一代機(jī)器人研究。目前 Robotics X 實(shí)驗(yàn)室主攻移動(dòng)、靈巧操作和智能體等三大通用機(jī)器人技術(shù)的研究與應(yīng)用,并聚焦于多模態(tài)移動(dòng)機(jī)器人的研發(fā)。騰訊 AI Lab 在張正友的帶領(lǐng)下,致力于全棧式的人工智能的基礎(chǔ)研究和應(yīng)用探索。在做原創(chuàng)性研究的同時(shí),騰訊 AI Lab 還探索結(jié)合騰訊場(chǎng)景與業(yè)務(wù)優(yōu)勢(shì)的應(yīng)用,其研發(fā)的農(nóng)業(yè) AI iGrow 系統(tǒng)、虛擬人技術(shù)、人臉識(shí)別系統(tǒng)、語(yǔ)音前端技術(shù)等已經(jīng)在騰訊多個(gè)產(chǎn)品和業(yè)務(wù)中落地應(yīng)用。

張正友的學(xué)者畫像(來(lái)源:AMiner )

3、Jacob Ziv 獲得本年度的 IEEE 榮譽(yù)勛章

近日,90 歲的 IEEE 終身 Fellow、以色列科學(xué)家 Jacob Ziv 因其 “對(duì)信息論和數(shù)據(jù)壓縮技術(shù)的重要貢獻(xiàn)和杰出研究領(lǐng)導(dǎo)地位” 獲得本年度的 IEEE 榮譽(yù)勛章。LZ77 與 LZ78 是 Abraham Lempel 與 Jacob Ziv 在 1977 年以及 1978 年發(fā)表的論文中提出的兩個(gè)無(wú)損數(shù)據(jù)壓縮算法,二人脫離了 Huffman 及算術(shù)編碼的設(shè)計(jì)思路,創(chuàng)造出了一系列比 Huffman 編碼更有效,比算術(shù)編碼更快捷的通用壓縮算法。LZ77 的誕生,被稱為 “壓縮算法的開(kāi)山之作”。LZ 是世界上第一個(gè)成功的主流通用壓縮算法,該算法及 Jacob Ziv 的分析為后來(lái)的通用算法工作奠定了基礎(chǔ)。

Jacob Ziv 的學(xué)者畫像(來(lái)源:AMiner)

4． 陳國(guó)良、孫永強(qiáng)榮獲 2020 年 “CCF 終身成就獎(jiǎng)”

CCF 獎(jiǎng)勵(lì)委員會(huì)決定授予深圳大學(xué)陳國(guó)良教授和上海交通大學(xué)孫永強(qiáng)教授 2020 年 “CCF 終身成就獎(jiǎng)”,以表彰他們?yōu)橹袊?guó)計(jì)算機(jī)事業(yè)的發(fā)展做出的卓越貢獻(xiàn)�！癈CF 終身成就獎(jiǎng)” 授予在計(jì)算機(jī)科學(xué)、技術(shù)和工程領(lǐng)域取得重大突破,成就卓著、貢獻(xiàn)巨大的資深中國(guó)計(jì)算機(jī)科技工作者。該獎(jiǎng)于 2010 年設(shè)立。

五、重要 AI 科研成果

(一)國(guó)外 AI 科研

1、AI 將用于體外受精

最近,以色列一家機(jī)器學(xué)習(xí)創(chuàng)業(yè)公司 AiVF 表示,與傳統(tǒng)方法相比,人工智能有可能將體外受精(IVF)的成功率提高三倍。AiVF 使用 ML 和計(jì)算機(jī)視覺(jué)技術(shù),使胚胎學(xué)家能夠發(fā)現(xiàn)哪些胚胎在子宮內(nèi)植入過(guò)程中,最有可能獲得成功。據(jù) IEEE 報(bào)道,AiVF 的 ML 技術(shù)涉及獲取在孵化器中創(chuàng)建發(fā)育中的胚胎的延時(shí)視頻,在五天的視頻中顯示了胚胎發(fā)育中的各種里程碑階段。AiVF 的初步結(jié)果表明,計(jì)算機(jī)視覺(jué)和 ML 可能會(huì)降低 IVF 的價(jià)格,反過(guò)來(lái)說(shuō),這會(huì)使女性懷孕的成本降低。現(xiàn)在,研究人員訓(xùn)練了一種機(jī)器學(xué)習(xí) 算法,通過(guò)各種標(biāo)注了 “患病” 和 “健康” 的數(shù)據(jù)集訓(xùn)練機(jī)器,以識(shí)別胎盤樣品薄片中圖像的某些特征。

2、OpenAI 發(fā)布 120 億參數(shù)圖像版 GPT-3

1 月 5 日,OpenAI 同時(shí)發(fā)布了兩個(gè)與 GPT 有關(guān)的文本 - 圖像工作:DALL?E:個(gè)利用文本 - 圖像數(shù)據(jù)集,有著 120 億參數(shù)的 “GPT-3”,可以根據(jù)文本生成各種各樣的圖像;CLIP:可以通過(guò)自然語(yǔ)言的監(jiān)督來(lái)有效學(xué)習(xí)視覺(jué)概念,只需要提供要識(shí)別的視覺(jué)類別名稱,利用 CLIP 便能夠做任意的視覺(jué)分類,類似于 GPT-2和 GPT-3 的 “Zero-shot”功能。這兩項(xiàng)工作的突破性是無(wú)疑的,但同時(shí)作為前奏,也讓人更加

期待 OpenAI 接下來(lái)的 GPT-4 了。GPT-3 給人們帶來(lái)的深刻印象是,大模型可以執(zhí)行各種文本生成任務(wù)。與利用 GAN 來(lái)做文本到圖像的生成不同,DALL?E 能夠?yàn)榇罅课寤ò碎T的句子創(chuàng)造出似是而非的意象,這些句子很多時(shí)候本身就是對(duì)語(yǔ)言結(jié)構(gòu)的探索。在生成之后,DALL?E 采用 CLIP 進(jìn)行排序,從中選取最優(yōu)結(jié)果,整個(gè)過(guò)程

3、美學(xué)者研制出一種光學(xué)卷積神經(jīng)網(wǎng)絡(luò)加速器

近日,美國(guó)喬治?華盛頓大學(xué)和加州大學(xué)洛杉磯分校的研究人員與深度科技創(chuàng)業(yè)公司 Optelligence LLC 共同開(kāi)發(fā)出一種光學(xué)卷積神經(jīng)網(wǎng)絡(luò)加速器,每秒能夠處理拍字節(jié)(1 拍字節(jié) = 250 字節(jié))級(jí)的大量信息。這項(xiàng)創(chuàng)新利用了光的巨量并行性,預(yù)示著用于機(jī)器學(xué)習(xí)的光學(xué)信號(hào)處理新時(shí)代的到來(lái),應(yīng)用領(lǐng)域包括無(wú)人駕駛汽車、5G 網(wǎng)絡(luò)、數(shù)據(jù)中心、生物醫(yī)學(xué)診斷、數(shù)據(jù)安全等。為了在這種光學(xué)機(jī)器學(xué)習(xí)系統(tǒng)中實(shí)現(xiàn)突破,研究人員用基于數(shù)字鏡的技術(shù)取代了空間光調(diào)制器,從而開(kāi)發(fā)出速度快百倍的系統(tǒng)。該處理器的非迭代時(shí)序,再加上快速的可編程性以及大規(guī)模并行化處理,使得這個(gè)光學(xué)機(jī)器學(xué)習(xí)系統(tǒng)的性能甚至超越頂尖的圖形處理單元一個(gè)數(shù)量級(jí),而且在最初的原型機(jī)之外還有進(jìn)一步優(yōu)化的空間。不同于目前電子機(jī)器學(xué)習(xí)硬件中按順序處理信息的范式,這款處理器采用了傅里葉光學(xué),即頻率濾波的概念,可以利用數(shù)字鏡像技術(shù)將神經(jīng)網(wǎng)絡(luò)所需的卷積執(zhí)行為更簡(jiǎn)單的逐元(element-wise)乘法。

4、人工智能代理在盲文鍵盤上打字

布里斯托爾大學(xué)的研究人員最近進(jìn)行了一項(xiàng)研究,旨在通過(guò)強(qiáng)化學(xué)習(xí)來(lái)教人工智能代理在盲文鍵盤上打字。盲文鍵盤是允許人們用盲文為計(jì)算機(jī)輸入指令的設(shè)備。他們使用最先進(jìn)的深度學(xué)習(xí)算法來(lái)完成在模擬和真實(shí)環(huán)境中創(chuàng)建的四項(xiàng)任務(wù)(即使用物理機(jī)器人),這些深度學(xué)習(xí)算法取得了顯著的效果。

5、機(jī)器學(xué)習(xí)可以提高粒子加速器故障診斷功能

美國(guó)能源部國(guó)家加速器設(shè)施的初級(jí)粒子加速器操作員正在獲得一種新工具,以幫助他們快速解決妨礙加速器順利運(yùn)行的問(wèn)題。一個(gè)新的機(jī)器學(xué)習(xí)系統(tǒng)已經(jīng)正確地識(shí)別出故障加速器組件和正在經(jīng)歷的故障類型。對(duì)定制機(jī)器學(xué)習(xí)系統(tǒng)第一次現(xiàn)場(chǎng)測(cè)試結(jié)果的分析最近發(fā)表在 Physical Review Accelerators and Beams 上。連續(xù)電子束加速器設(shè)施是美國(guó)能源部的一個(gè)設(shè)施,其特點(diǎn)是核物理學(xué)家利用一種獨(dú)特的粒子加速器來(lái)探索物質(zhì)的核心。

6、德國(guó)勞恩霍夫開(kāi)發(fā)可視化軟件

德國(guó)弗勞恩霍夫計(jì)算機(jī)圖形學(xué)研究所 IGD 開(kāi)發(fā)了一個(gè)可視化應(yīng)用程序。它的主要重點(diǎn)是產(chǎn)品設(shè)計(jì),即產(chǎn)品的開(kāi)發(fā)中所有的可變特性或性能指標(biāo)的計(jì)算和平衡。弗勞恩霍夫研究人員與奧地利林茨機(jī)電一體化中心(LCM)一起,專門將這一項(xiàng)目應(yīng)用于電機(jī)的開(kāi)發(fā)。林茨的研究伙伴生成了技術(shù)數(shù)據(jù),并在此基礎(chǔ)上對(duì)所有產(chǎn)品參數(shù)進(jìn)行了數(shù)學(xué)模擬。所有產(chǎn)品參數(shù)在一個(gè)單一的交互式可視化 Fraunhofer 軟件創(chuàng)建的可視化表示涵蓋了與電機(jī)開(kāi)發(fā)相關(guān)的所有標(biāo)準(zhǔn),包括:尺寸、重量、發(fā)動(dòng)機(jī)功率、扭矩、消耗、成本、效率和溫度。通常,在同一時(shí)間最多觀察 10 個(gè)不同的標(biāo)準(zhǔn)。可視化以精確曲線圖的形式描述了各個(gè)參數(shù)之間的相互作用,特別是當(dāng)一個(gè)值發(fā)生變化時(shí)會(huì)發(fā)生什么。

7、亞馬遜推出五大 AI 工具

借助五款專注于工業(yè)應(yīng)用的 AI 工具,亞馬遜云計(jì)算服務(wù)(AWS)正在努力擴(kuò)大工業(yè) AI 的使用范圍。這些工具可以 7x24 小時(shí)不間斷地守護(hù)制造工廠,在檢測(cè)生產(chǎn)線和其他系統(tǒng)問(wèn)題的同時(shí),還可以預(yù)測(cè)所需的維護(hù)任務(wù),能夠幫助工業(yè)和制造業(yè)客戶將機(jī)器智能帶入他們生產(chǎn)流程的機(jī)器學(xué)習(xí)服務(wù),可提高運(yùn)營(yíng)效率、質(zhì)量控制、安保和工作場(chǎng)所安全。利用機(jī)器學(xué)習(xí)、傳感器分析和計(jì)算視覺(jué)功能,這些工具要通過(guò)云到邊緣(云計(jì)算和邊緣計(jì)算)的工業(yè)機(jī)器學(xué)習(xí)服務(wù),幫助制造業(yè)和工業(yè)運(yùn)營(yíng)解決常見(jiàn)的技術(shù)挑戰(zhàn)。

AWS Auto-Aug 搜索算法(來(lái)源于 AMiner)

8、牛津大學(xué) ML 算法實(shí)現(xiàn) 10 萬(wàn)高壓非晶硅原子的模擬

2021 年第一期《自然》雜志封面研究中,來(lái)自牛津大學(xué)的 Volker Deringer 等人展示了模擬加壓非晶硅的原子機(jī)器學(xué)習(xí)模型,成功解決了這一挑戰(zhàn),并捕獲了實(shí)驗(yàn)中遇到的所有結(jié)構(gòu)變化。這種計(jì)算方法可以為實(shí)驗(yàn)條件極富挑戰(zhàn)性的材料預(yù)測(cè)建模開(kāi)啟全新的方式。這是 2020 年 12 月 DeepMind 人工智能解決生物學(xué) 50 年來(lái)重大挑戰(zhàn)之后,人工智能在又一個(gè)新的領(lǐng)域展現(xiàn)強(qiáng)大能力。

9、日本 Fugaku 超級(jí)計(jì)算機(jī)計(jì)劃推出

Fugaku 設(shè)定了 9 個(gè)對(duì)社會(huì)有重要意義的應(yīng)用領(lǐng)域,如醫(yī)學(xué)、藥理學(xué)、災(zāi)難預(yù)測(cè)和預(yù)防、環(huán)境可持續(xù)性和能源。Fugaku 計(jì)劃于 2021 年在神戶的 Riken 設(shè)施正式推出,它成為世界上第一臺(tái)在原始計(jì)算速度、大數(shù)據(jù)處理、人工智能深度學(xué)習(xí)和實(shí)用模擬計(jì)算四大類別中均位居榜首的超級(jí)計(jì)算機(jī)。它是由日本理研所和富士通公司聯(lián)合開(kāi)發(fā)的,耗資 1300 億美元。

10、IBM 公司使用光學(xué)在人工智能系統(tǒng)中創(chuàng)建超快速計(jì)算

近來(lái),IBM 研究人員推出了一種新方法,該方法可以為深度學(xué)習(xí)應(yīng)用程序帶來(lái)巨大的變化,這些應(yīng)用程序可以完全用光而不是電來(lái)執(zhí)行計(jì)算。研究人員已經(jīng)創(chuàng)建了一個(gè)光子張量核心,其基礎(chǔ)是光粒子的特性可以以前所未有的速度處理數(shù)據(jù),從而以極低的延遲提供人工智能應(yīng)用程序。使用光學(xué)物理學(xué),IBM 開(kāi)發(fā)的技術(shù)可以在單個(gè)內(nèi)核中并行運(yùn)行復(fù)雜的操作。結(jié)合內(nèi)存計(jì)算,IBM 的科學(xué)家實(shí)現(xiàn)了超低延遲,這是電路所無(wú)法比擬的。IBM 開(kāi)發(fā)的基于光的處理器具有同時(shí)執(zhí)行多項(xiàng)操作的能力,因此所需的計(jì)算密度也較小。盡管 IBM 的研究人員已經(jīng)成功設(shè)計(jì)并測(cè)試了一個(gè)強(qiáng)大的內(nèi)核,但是他們需要擴(kuò)展試驗(yàn),以確保該技術(shù)可以在系統(tǒng)級(jí)集成,以確保端到端性能。

11、Nature:世界最快光子 AI 加速器

近日,澳大利亞研究人員徐興元博士(莫納什大學(xué))、譚朦曦博士、David Moss 教授(斯文本科技大學(xué))、Arnan Mitchell 教授(皇家墨爾本理工大學(xué))等首次提出并實(shí)現(xiàn)了基于波長(zhǎng)、時(shí)間交織的光子卷積加速器。該文章以 "11 TOPS photonic convolutional accelerator for optical neural networks" 為題發(fā)表在 Nature。光子神經(jīng)網(wǎng)絡(luò)工作于模擬架構(gòu)中,即數(shù)據(jù)在硬件系統(tǒng)中的實(shí)時(shí)位置與進(jìn)行運(yùn)算的位置相同,因而規(guī)避了馮諾曼依瓶頸研究人員通過(guò)采用集成高品質(zhì)因素、高非線性微環(huán)與波導(dǎo)色散調(diào)控,實(shí)現(xiàn)了高相干度、易于產(chǎn)生的集成克爾孤子晶體光頻梳。

12、谷歌發(fā)布人類歷史首個(gè)萬(wàn)億級(jí)模型 Switch Transformer

近日,Google Brain 的研究人員 William Fedus、Barret Zoph、Noam Shazeer 等在 arxiv 上提交了一篇論文 “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity”,提出了稀疏激活專家模型 Switch Transformer。這個(gè) 1．6 萬(wàn)億參數(shù)模型似乎是迄今為止最大的模型,其速度是 Google 之前開(kāi)發(fā)的最大語(yǔ)言模型(T5-XXL)的 4 倍,參數(shù)規(guī)模幾乎是 1750 億參數(shù)的 GPT-3 的十倍。這應(yīng)該是人類歷史上發(fā)布的第一個(gè)萬(wàn)億級(jí)人工智能模型。研究人員在論文中指出,大規(guī)模訓(xùn)練是通向強(qiáng)大模型的有效途徑,具有大量數(shù)據(jù)集和參數(shù)計(jì)數(shù)的簡(jiǎn)單架構(gòu)可以遠(yuǎn)遠(yuǎn)超越復(fù)雜的算法,但目前有效的大規(guī)模訓(xùn)練主要使用稠密模型。

13、新一代多模態(tài)文檔理解預(yù)訓(xùn)練模型 LayoutLM 2．0,多項(xiàng)任務(wù)取得新突破

2020 年初,微軟亞洲研究院的研究人員提出并開(kāi)源了通用文檔理解預(yù)訓(xùn)練模型 LayoutLM 1．0,受到了廣泛關(guān)注和認(rèn)可。如今,研究人員又提出了新一代的文檔理解預(yù)訓(xùn)練模型 LayoutLM 2．0,該模型在一系列文檔理解任務(wù)中都表現(xiàn)出色,并在多項(xiàng)任務(wù)中取得了新的突破,登頂 SROIE 和 DocVQA 兩項(xiàng)文檔理解任務(wù)的排行榜(Leaderboard)。未來(lái),以多模態(tài)預(yù)訓(xùn)練為代表的智能文檔理解技術(shù)將在更多的實(shí)際應(yīng)用場(chǎng)景中扮演更為重要的角色。針對(duì)多模態(tài)文檔理解任務(wù)提出的多模態(tài)預(yù)訓(xùn)練模型 LayoutLM 2．0,不僅考慮了文本和頁(yè)面布局信息,還將圖像信息融合到了多模態(tài)框架內(nèi)。同時(shí),空間感知自注意力機(jī)制的引入進(jìn)一步提高了模型對(duì)文檔內(nèi)容的理解能力。為了進(jìn)一步在模態(tài)間建立深度關(guān)聯(lián),研究人員也提出了新的多模態(tài)信息對(duì)齊預(yù)訓(xùn)練任務(wù)。實(shí)驗(yàn)結(jié)果顯示,經(jīng)過(guò)預(yù)訓(xùn)練 — 微調(diào)的 LayoutLM 2．0 在對(duì)應(yīng)不同類型任務(wù)的六個(gè)文檔理解數(shù)據(jù)集上顯著優(yōu)于基線方法,表明提出的方法能夠有效提升文檔理解效果。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)和全量數(shù)據(jù)微調(diào),LayoutLM 2．0 單模型性能超出了使用 30 個(gè)模型聯(lián)合預(yù)測(cè)的原榜首方法 1．6 個(gè)百分點(diǎn),達(dá)到 86．72%,成為新的 SOTA。

14、科學(xué)家利用人工智能通過(guò)糞便標(biāo)測(cè)腸道細(xì)菌

哥本哈根大學(xué)的研究人員開(kāi)發(fā)了一種突破性的技術(shù),可以幫助我們揭開(kāi)人類腸道細(xì)菌的某些神秘面紗。西蒙?拉斯穆森(Simon Rasmussen)副教授在《自然》雜志上發(fā)表他與諾和諾德基金會(huì)蛋白質(zhì)研究中心的研究人員一起負(fù)責(zé)這項(xiàng)新研究的研究結(jié)果。西蒙?拉斯穆森(Simon Rasmussen)和他的研究人員開(kāi)發(fā)了一種算法,該算法利用人工智能來(lái)完成糞便中細(xì)菌的 DNA 串。這種方法不僅限于腸道細(xì)菌。人工智能分析非常小的樣品中細(xì)菌含量的能力也可用于研究糞便以外的其他物質(zhì)。該算法不僅可以用于研究細(xì)菌,還可以使用它來(lái)分析健康數(shù)據(jù),可以收集有關(guān)患者群體的大量信息,例如有關(guān)患者遺傳學(xué),蛋白質(zhì)組成,血液中物質(zhì)以及電子記錄數(shù)據(jù)的知識(shí)。然后,利用人工智能可以分析這些非常不同的數(shù)據(jù)集,并確定模式和連接。

15、機(jī)器算法可以預(yù)測(cè)新冠肺炎患者心臟驟停隱患

約翰霍普金斯大學(xué)生物醫(yī)學(xué)工程師和心臟專家團(tuán)隊(duì)開(kāi)發(fā)了一種算法,可使住院的新冠肺炎患者出現(xiàn)心臟驟�；蜓�凝塊之前數(shù)小時(shí)向醫(yī)生發(fā)出警告。新冠肺炎心臟預(yù)測(cè)器可以預(yù)測(cè)新冠肺炎患者的心臟驟停,平均預(yù)警時(shí)間為 18 小時(shí),并且可以提前三天預(yù)測(cè)血液凝塊。它是根據(jù) 3 月 1 日至 9 月 27 日在 Johns Hopkins 衛(wèi)生系統(tǒng)的五家醫(yī)院接受治療的 2178 名患者的數(shù)據(jù)開(kāi)發(fā)的。研究人員的下一步是開(kāi)發(fā)在醫(yī)院中設(shè)置該技術(shù)的最佳方法,以幫助護(hù)理新冠肺炎患者。

16、NeuTigers 推出 CovidDeep

1 月 13 日消息,普林斯頓大學(xué)分拆出來(lái)的人工智能公司 NeuTigers 推出了 CovidDeep,這是一個(gè)經(jīng)過(guò)臨床驗(yàn)證的解決方案,可以利用可穿戴設(shè)備衍生的生理傳感器數(shù)據(jù),對(duì)需要進(jìn)一步檢測(cè) SARS-CoV-2/COVID-19 的人進(jìn)行分流。CovidDeep 應(yīng)用在預(yù)測(cè)一個(gè)人是無(wú)病毒還是病毒陽(yáng)性方面的準(zhǔn)確率高達(dá) 90% 以上,是目前體溫檢查和問(wèn)卷調(diào)查等分流工具的兩倍。CovidDeep 由最前沿的人工智能深度神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng),模仿人腦如何感知、學(xué)習(xí)和解釋世界。NeuTigers 在普林斯頓大學(xué)電子工程系的研究聯(lián)合創(chuàng)始人使用專有的深度神經(jīng)網(wǎng)絡(luò)從數(shù)十萬(wàn)個(gè)數(shù)字健康數(shù)據(jù)點(diǎn)和 SARS-CoV-2 陽(yáng)性和健康參與者的特定問(wèn)卷中學(xué)習(xí)。

17、馬克斯 - 普朗克人類發(fā)展研究所:超級(jí)人工智能從理論上就無(wú)法控制

本月初發(fā)表在 AI 領(lǐng)域頂級(jí)期刊《人工智能研究雜志》(JAIR)上的一篇文章中,馬德里自治大學(xué)、馬克斯 - 普朗克人類發(fā)展研究所等機(jī)構(gòu)的研究者認(rèn)為,由于計(jì)算本身固有的基本限制,人類可能無(wú)法控制超級(jí)人工智能。他們表示,任何旨在確保超級(jí)人工智能無(wú)法傷害人類的算法都必須首先模擬機(jī)器行為以預(yù)測(cè)其行動(dòng)的潛在后果。如果超級(jí)智能機(jī)器確實(shí)可能造成傷害,那么此類抑制算法(Containment Algorithm)需要停止機(jī)器的運(yùn)行。然而,科學(xué)家們認(rèn)為,任何抑制算法都不可能模擬 AI 的行為,也就無(wú)法百分之百地預(yù)測(cè) AI 的行為是否會(huì)造成傷害。

18、卡內(nèi)基?梅隆大學(xué)提出新的 AI 環(huán)境探索模型

近日,卡內(nèi)基?梅隆大學(xué)、臉書(shū)等機(jī)構(gòu)的研究人員提出了一個(gè)新的 AI 環(huán)境探索模型。這個(gè)新模型綜合了傳統(tǒng)環(huán)境探索模型和基于學(xué)習(xí)方法的環(huán)境探索模型的優(yōu)點(diǎn),更簡(jiǎn)單和不易出錯(cuò)。這項(xiàng)研究已經(jīng)發(fā)表在學(xué)術(shù)網(wǎng)站 arXiv 上,論文標(biāo)題為《利用主動(dòng)神經(jīng) SLAM 學(xué)習(xí)探索環(huán)境(Learning To Explore Using Active Neural SLAM)》。為了解決全面端到端學(xué)習(xí)的局限性,卡內(nèi)基?梅隆大學(xué)、臉書(shū)、伊利諾大學(xué)厄巴納 - 香檳分校的研究人員推出了 “主動(dòng)神經(jīng)即時(shí)定位與地圖構(gòu)建(ANS,Active Neural SLAM)模型”。ANS 模型包括一個(gè)學(xué)習(xí)神經(jīng)即時(shí)定位與地圖構(gòu)建(SLAM,Simultaneous localization and mapping)模塊,一個(gè)全局策略(global policy)和一個(gè)局部策略(local policy)。ANS 導(dǎo)航模型克服了之前的基于端對(duì)端學(xué)習(xí)策略的缺陷,基于更真實(shí)的數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練,最終探索效率有所提升。

19、首個(gè) 3D 點(diǎn)云 + GAN 新方法,讓機(jī)器人 “眼神” 更犀利!

近日,來(lái)自德克薩斯大學(xué)阿靈頓分校(University of Texas at Arlington,UTA)研究團(tuán)隊(duì)提出了一種名為 PCGAN 的方法。相關(guān)研究論文以 “A Progressive Conditional Generative Adversarial Network for Generating Dense and Colored 3D Point Clouds” 為題,發(fā)表在預(yù)印本網(wǎng)站 arXiv 上。研究人員表示,這是第一個(gè)以無(wú)監(jiān)督方式生成 3D 點(diǎn)云(3D point cloud)的條件生成對(duì)抗網(wǎng)絡(luò)(GAN),該網(wǎng)絡(luò)能夠產(chǎn)生具有多分辨率和精細(xì)細(xì)節(jié)的 3D 彩色點(diǎn)云,以生成利于辨別的物體圖像,這將極有利于機(jī)器人視覺(jué)靈敏度的提升。

20、助力圖深度學(xué)習(xí)研究與應(yīng)用,清華團(tuán)隊(duì)發(fā)布 CogDL v0．2

在 CogDL v0．2 版本中,將任務(wù)、數(shù)據(jù)集、模型和參數(shù),統(tǒng)一為一個(gè) experiment 接口,只需直接調(diào)用 experiment 函數(shù)即可完成一行實(shí)現(xiàn)訓(xùn)練。experiment 接口還整合了 optuna 的超參搜索功能,只需提供不同超參的搜索范圍即可。此外,新增 pineline 方法,通過(guò)調(diào)用 pipeline 方法可以很容易的實(shí)現(xiàn)一些有趣的應(yīng)用,比如數(shù)據(jù)集的狀態(tài)顯示、節(jié)點(diǎn)的 k-hop neighbor 可視化等。pipeline 接口還支持調(diào)用 OAGBert 模型。

21、麥吉爾大學(xué)等開(kāi)發(fā)新型視覺(jué)觸覺(jué)傳感器

來(lái)自三星、麥吉爾大學(xué)和約克大學(xué)的研究人員,近日研發(fā)出一個(gè)全新的生成式多模態(tài)感知 AI 框架,能夠根據(jù)物體初始狀態(tài)的視覺(jué)和觸覺(jué)數(shù)據(jù),來(lái)預(yù)測(cè)出物體的運(yùn)動(dòng)趨勢(shì)。據(jù)悉,這是第一個(gè)利用視覺(jué)和觸覺(jué)感知來(lái)學(xué)習(xí)多模態(tài)動(dòng)力學(xué)模型的研究。該研究團(tuán)隊(duì)的這項(xiàng)新成果能夠基于觸覺(jué)、視覺(jué)的雙模態(tài)數(shù)據(jù)對(duì)物體的運(yùn)動(dòng)軌跡進(jìn)行預(yù)判,并推測(cè)出物體的最終靜止?fàn)顟B(tài)。相較于以往的運(yùn)動(dòng)預(yù)測(cè)技術(shù),該研究團(tuán)隊(duì)實(shí)現(xiàn)了觸覺(jué)和視覺(jué)數(shù)據(jù)的雙向推測(cè),為制造業(yè)的自動(dòng)化場(chǎng)景提供了更多的可能性。

22、微軟等提出「 ZeRO-Offload 」技術(shù)

微軟、加州大學(xué)默塞德分校的研究者提出了一種名為「 ZeRO-Offload 」的異構(gòu)深度學(xué)習(xí)訓(xùn)練技術(shù),可以在單個(gè) GPU 上訓(xùn)練擁有 130 億參數(shù)的深度學(xué)習(xí)模型,讓普通研究者也能著手大模型的訓(xùn)練。與 Pytorch 等流行框架相比,ZeRO-Offload 將可訓(xùn)練的模型規(guī)模提升了 10 倍。此外,ZeRO-Offload 還可以和模型并行一起使用,在一個(gè) DGX-2 box AI 服務(wù)器上訓(xùn)練參數(shù)量超 700 億的模型。與單獨(dú)使用模型并行相比,這一參數(shù)量實(shí)現(xiàn)了 4．5 倍的規(guī)模提升。

23、谷歌大腦科學(xué)家 Quoc V． Le 等提出用 AutoML 方式自動(dòng)學(xué)習(xí) Dropout 模式

近日,卡內(nèi)基梅隆大學(xué)在讀博士 Hieu Pham、谷歌大腦研究科學(xué)家 Quoc V． Le 提出了一種自動(dòng)學(xué)習(xí) Dropout 的方法。研究者稱,通過(guò)強(qiáng)化學(xué)習(xí)來(lái)學(xué)習(xí) Dropout 的規(guī)律,AutoDropout 可以提高圖像識(shí)別、語(yǔ)言理解和機(jī)器翻譯的性能。該研究已被人工智能頂會(huì) AAAI-2021 接收。AutoDropout 的主要貢獻(xiàn)是一個(gè)新穎的結(jié)構(gòu)化 Dropout 模式搜索空間。在這個(gè)搜索空間中,人們可以為每個(gè)模型架構(gòu)和任務(wù)找到適合的 Dropout 模式。此外,該搜索空間還泛化了很多現(xiàn)有的 Dropout 模式。

論文名稱:AutoDropout: Learning Dropout Patterns to Regularize Deep Networks

24、GPT-Neo,最大可達(dá) GPT-3 大小,已開(kāi)源

近日,有個(gè)名叫 EleutherAI 的團(tuán)隊(duì)(創(chuàng)始成員為:Connor Leahy,Leo Gao 和 Sid Black),宣布推出 GPT-Neo 開(kāi)源項(xiàng)目,可用于復(fù)現(xiàn) GPT 系列的各種語(yǔ)言模型,也包括 GPT-3。目前已經(jīng)成功制造出 GPT-2 大小的模型。從項(xiàng)目代碼的可擴(kuò)展性來(lái)看,他們預(yù)計(jì)可以復(fù)刻出 GPT-3 大小的語(yǔ)言模型,甚至比 GPT-3 更大。目前,作者已經(jīng)給出了詳細(xì)的訓(xùn)練步驟。本質(zhì)上,GPT-Neo 有點(diǎn)像是 GPT 系列的 “高仿” 項(xiàng)目:GPT-Neo 中的各種模型,設(shè)計(jì)原理接近 GPT 系列,但代碼并不一樣。作者們打算嘗試各種結(jié)構(gòu)和注意力類型,最終擴(kuò)展出 GPT-3 大小的大語(yǔ)言模型。

25、微軟 “AI 聊天機(jī)器人” 最新專利獲批

近日,微軟通過(guò)了一項(xiàng)名為 “AI 聊天機(jī)器人” 的專利申請(qǐng)。微軟專利是首次通過(guò) “社交媒體數(shù)據(jù)” 創(chuàng)建逝者的 AI 機(jī)器人。在某些情況下,它甚至可以使用圖像和視頻創(chuàng)建人物的 3D 模型來(lái)增加互動(dòng)的真實(shí)感,該 AI 聊天機(jī)器人可以模仿逝者與親人進(jìn)行實(shí)時(shí)互動(dòng)和聊天。如果在交談時(shí),用戶提及的問(wèn)題沒(méi)有具體的存儲(chǔ)數(shù)據(jù),AI 系統(tǒng)可以基于 “人群感知” 和 “心理數(shù)據(jù)” 給出邏輯上可能的回答。

26、熱門開(kāi)源 AutoML 工具 NNI 2．0 來(lái)襲

近期,微軟亞洲研究院發(fā)布了 NNI 2．0 版本,其中加入了對(duì) “探索性訓(xùn)練” 框架  Retiarii、基于掩碼的模型壓縮加速工具的支持,提供了利用 Python 發(fā)起實(shí)驗(yàn) (預(yù)覽功能) 與多種算力混合訓(xùn)練的能力,并簡(jiǎn)化了自定義算法的安裝方法。NNI(Neural Network Intelligence)是微軟亞洲研究院為研究人員和算法工程師量身定制的自動(dòng)機(jī)器學(xué)習(xí)(AutoML)工具。

(二)國(guó)內(nèi) AI 科研

1、超大規(guī)模新型預(yù)訓(xùn)練模型 ——“文匯”

2021 年 1 月 11 日,由北京智源人工智能研究院、阿里巴巴、清華大學(xué)、中國(guó)人民大學(xué)、中國(guó)科學(xué)院、搜狗、智譜．AI、循環(huán)智能等單位的科研骨干成立 "悟道" 聯(lián)合攻關(guān)團(tuán)隊(duì),發(fā)布了面向認(rèn)知的超大規(guī)模新型預(yù)訓(xùn)練模型 "文匯",旨在探索解決當(dāng)前大規(guī)模自監(jiān)督預(yù)訓(xùn)練模型不具有認(rèn)知能力的問(wèn)題�！拔膮R” 模型不僅使用數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)建構(gòu)預(yù)訓(xùn)練模型,還將用戶行為、常識(shí)知識(shí)以及認(rèn)知聯(lián)系起來(lái),主動(dòng) “學(xué)習(xí)” 與創(chuàng)造�！拔膮R” 模型參數(shù)規(guī)模達(dá) 113 億,僅次于 DALL?E 模型的 120 億參數(shù)量,是目前我國(guó)規(guī)模最大的預(yù)訓(xùn)練模型,并已實(shí)現(xiàn)與國(guó)際領(lǐng)先預(yù)訓(xùn)練技術(shù)的并跑。目前,“文匯” 已支持基于認(rèn)知推理的多種自然語(yǔ)言及跨模態(tài)應(yīng)用任務(wù),部分應(yīng)用將與搜狗、阿里巴巴、學(xué)堂在線、智譜．AI、循環(huán)智能等機(jī)構(gòu)合作上線。目前已有四個(gè)樣例應(yīng)用可用于展示模型效果。

2、清華、智源、協(xié)和聯(lián)合開(kāi)發(fā)乳腺癌 AI 診斷工具

一項(xiàng)基于 VGG 模型,對(duì)超聲影像進(jìn)行良 / 惡性檢測(cè) 及分子亞型分類的深度神經(jīng)網(wǎng)絡(luò)模型 SonoBreast 的研究團(tuán)隊(duì)經(jīng)過(guò)數(shù)月對(duì)數(shù)據(jù)集預(yù)處理算法和訓(xùn)練模型的改進(jìn),根據(jù)近期公布結(jié)果,這一模型的分子分型準(zhǔn)確率提升了近 20 個(gè)點(diǎn),達(dá)到 76%;而在二分類問(wèn)題上可以達(dá)到 93% 的準(zhǔn)確率。SonoBreast 模型使用了卷積神經(jīng)網(wǎng)絡(luò) VGG-19 進(jìn)行特征提取,然后將特征送入到全連接層進(jìn)行二分類,并將所有層從頭開(kāi)始訓(xùn)練。為了進(jìn)一步擴(kuò)大數(shù)據(jù)集,研究團(tuán)隊(duì)也與智源研究院的數(shù)據(jù)中心進(jìn)行合作,希望通過(guò)聯(lián)邦學(xué)習(xí)的技術(shù),將多家醫(yī)院的超聲影像進(jìn)行聯(lián)合訓(xùn)練,從而提升模型效果。

3、百度發(fā)布預(yù)訓(xùn)練模型 ERNIE-M,可理解 96 種語(yǔ)言

2021 年伊始,百度研究院發(fā)布多語(yǔ)言預(yù)訓(xùn)練模型 ERNIE-M。ERNIE-M 通過(guò)對(duì) 96 門語(yǔ)言的學(xué)習(xí),使得一個(gè)模型能同時(shí)理解 96 種語(yǔ)言,該項(xiàng)技術(shù)在 5 類典型跨語(yǔ)言理解任務(wù)上刷新世界最好效果。在權(quán)威跨語(yǔ)言理解榜單 XTREME 上,ERNIE-M 也登頂榜首,超越微軟、谷歌、Facebook 等機(jī)構(gòu)提出的模型。據(jù)了解,基于飛槳實(shí)現(xiàn)的 ERNIE-M 模型會(huì)于近期開(kāi)源。

4、強(qiáng)化學(xué)習(xí)與 3D 視覺(jué)結(jié)合新突破:高效能在線碼垛機(jī)器人

近日,國(guó)防科技大學(xué)、克萊姆森大學(xué)和視比特機(jī)器人的研究人員合作提出了使用深度強(qiáng)化學(xué)習(xí)求解基于動(dòng)態(tài)變化觀察的序列決策這一問(wèn)題。該算法性能優(yōu)異,實(shí)現(xiàn)簡(jiǎn)單,可適用于任意多個(gè)前瞻箱子的情形,擺放空間利用率達(dá)到甚至超過(guò)人類水平。同時(shí),該團(tuán)隊(duì)結(jié)合 3D 視覺(jué)技術(shù),實(shí)現(xiàn)了業(yè)界首個(gè)高效能無(wú)序混合碼垛機(jī)器人。論文已被人工智能頂會(huì) AAAI 2021 大會(huì)接收。作者使用帶約束的深度強(qiáng)化學(xué)習(xí)求解 BPP-1 問(wèn)題,即只能前瞻一個(gè)箱子的情形。然后基于蒙特卡洛樹(shù)搜索實(shí)現(xiàn)了從 BPP-1 到 BPP-k 的拓展。

5、元戎啟行推理引擎亮相 CES 2021

在 2021 年 CES 上,L4 級(jí)自動(dòng)駕駛解決方案提供商元戎啟行將在線上展示其針對(duì) L4 級(jí)自動(dòng)駕駛深度學(xué)習(xí)模型研發(fā)的推理引擎 DeepRoute-Engine。該推理引擎實(shí)現(xiàn)了比開(kāi)源深度學(xué)習(xí)框架平均高 6 倍的推理速度,大幅提升了自動(dòng)駕駛的計(jì)算效率,令自動(dòng)駕駛擺脫了對(duì)高算力計(jì)算平臺(tái)的依賴。自動(dòng)駕駛要做到像人類一樣感知周圍物體,需要通過(guò)深度學(xué)習(xí)來(lái)完成,即需要通過(guò)大規(guī)模的、復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)模型來(lái)對(duì)輸入的數(shù)據(jù)進(jìn)行推理。在推理過(guò)程中,需要實(shí)時(shí)完成大量的計(jì)算。元戎啟行選擇通過(guò)自研的推理引擎 ——DeepRoute-Engine,讓 L4 級(jí)自動(dòng)駕駛的感知模塊,可以運(yùn)行在低成本、低功耗的計(jì)算平臺(tái)上。

6、P-Waver 提出地震預(yù)警(EEW)模型

總部位于臺(tái)灣的初創(chuàng)公司 P-Waver 在 CES 2021 上宣布了一種新的分析數(shù)據(jù)系統(tǒng),旨在為政府設(shè)計(jì)地震預(yù)警(EEW)模型。P-Waver 基于臺(tái)灣中央氣象局的地震數(shù)據(jù)和包括 25 萬(wàn)多個(gè)地震模型的 AI 技術(shù)構(gòu)建了 EEW 系統(tǒng)。該系統(tǒng)可以向距震中 30 至 100 公里的區(qū)域提供 5 至 15 秒的警告時(shí)間,以采取預(yù)防措施。為了防止誤報(bào),P-Waver 實(shí)施了多個(gè)傳感器來(lái)捕獲初始波。該團(tuán)隊(duì)估計(jì)準(zhǔn)確性約為 98%。該系統(tǒng)可以在一到三秒鐘內(nèi)預(yù)測(cè) p 波,而通過(guò)多個(gè)備用傳感器的設(shè)置和校準(zhǔn)不會(huì)產(chǎn)生誤報(bào)。

7、Avalanche Computing 開(kāi)發(fā)超大規(guī)模計(jì)算技術(shù)

Avalanche Computing 是一家總部位于臺(tái)北和灣區(qū)的超大規(guī)模計(jì)算技術(shù)提供商,它已開(kāi)發(fā)出一種單擊式 AI 框架,該框架可提高生產(chǎn)速度并具有高度可擴(kuò)展性。Avalanche Computing 的 AI 框架可以在不改變算法的情況下,有效地在多個(gè) GPU 上以并行或分布式模式訓(xùn)練你的 AI 模型,以降低 AI 項(xiàng)目成本,然后在一個(gè)命令中完成 AI 模型從一個(gè)到多個(gè)邊緣設(shè)備的部署。

8、微軟聯(lián)合浙大提出 FastSpeech 2

近日,微軟亞洲研究院和微軟 Azure 語(yǔ)音研究團(tuán)隊(duì)聯(lián)合浙江大學(xué)提出了 FastSpeech 2 和 FastSpeech 2s。改進(jìn)版 FastSpeech 2 拋棄了 Teacher-Student 知識(shí)蒸餾框架降低訓(xùn)練復(fù)雜度,直接用真實(shí)的語(yǔ)音數(shù)據(jù)作為訓(xùn)練目標(biāo)避免信息損失,同時(shí)引入了更精確的時(shí)長(zhǎng)信息和語(yǔ)音中的其它可變信息(包括音高(Pitch)和音量(Energy)等)來(lái)提高合成的語(yǔ)音質(zhì)量。研究團(tuán)隊(duì)還提出了加強(qiáng)版 FastSpeech 2s 以支持完全端到端的從文本到語(yǔ)音波形的合成,省略了梅爾頻譜的生成過(guò)程。

9、瞰點(diǎn)科技與華師大共同發(fā)布 GraphSEAT

近日,瞰點(diǎn)科技與華東師范大學(xué)、哈佛大學(xué)、上海交通大學(xué)的研究人員合作,將論文發(fā)表在 ACM CIKM2020 上的面向量化投資的細(xì)粒度金融文本分類框架正式對(duì)外發(fā)布。該方法采用針對(duì)目標(biāo)任務(wù)的全局和模塊信息編碼融合的思想,有效地提升了針對(duì)金融領(lǐng)域的細(xì)粒度文本分類精度,可以為中國(guó)頂級(jí)金融信息服務(wù)供應(yīng)商提供金融文本分類服務(wù)。研究者利用神經(jīng)序列編碼器從文本的詞序列中提取語(yǔ)義信息,并通過(guò)注意力機(jī)制融合文本學(xué)得的兩個(gè)表征,最終形成了文本的整體嵌入表征并進(jìn)行預(yù)測(cè)。

10、京東開(kāi)源 PyTorch 人臉識(shí)別工具包 FaceX-Zoo

今年 1 月,來(lái)自京東的研究人員面向人臉識(shí)別技術(shù)開(kāi)發(fā)社區(qū)提出了全新的開(kāi)源框架 FaceX-Zoo。依靠高度模塊化和可擴(kuò)展的設(shè)計(jì),FaceX-Zoo 提供具備多種 supervisory head 和骨干網(wǎng)絡(luò)的訓(xùn)練模塊,以實(shí)現(xiàn)效果最優(yōu)的人臉識(shí)別。此外,它還具備標(biāo)準(zhǔn)化評(píng)估模塊,以便在大多數(shù)情況下測(cè)試模型效果。

11、鴻海推出非監(jiān)督式學(xué)習(xí)人工智能算法

1 月 21 日,鴻海宣布正式推出非監(jiān)督式學(xué)習(xí)(Unsupervised Learning)人工智能(AI)算法 “FOXCONN NxVAE”,運(yùn)用正面表列的模型訓(xùn)練方式,只以產(chǎn)品容易取得的正樣本進(jìn)行光學(xué)檢測(cè)演算,解決產(chǎn)線中瑕疵樣本取得的問(wèn)題,適用于良率高的成熟產(chǎn)品線,可增加 AI 模型的整體容錯(cuò)能力,此技術(shù)已實(shí)際導(dǎo)入集團(tuán)部分產(chǎn)品外觀檢測(cè)生產(chǎn)線,成功降低 50 % 以上的產(chǎn)線檢測(cè)人力。