我們身處于一個數(shù)據(jù)、信息量爆炸性增長的時代,一個由 AI 引領的、更加智能的時代。

但是,持續(xù)增加的數(shù)據(jù)量在為人工智能(AI)提供源源不斷的“動力”的同時,也對用于 AI 的電子計算硬件提出了更多的挑戰(zhàn),無論是在計算速度,還是在功耗方面,都已經(jīng)成為嚴重制約 AI 發(fā)展的主要瓶頸之一。

如今,隨著用于自動駕駛汽車和語音識別等機器學習方法的出現(xiàn),這種數(shù)據(jù)增加的上升趨勢仍將繼續(xù)下去。所有這些,都給當前的計算機處理器在滿足人們需求方面帶來了沉重的負擔。

好在,一個由多國科學家組成的團隊已經(jīng)開始著手解決這個問題。最新研究進展以“Parallel convolutional processing using an integrated photonic tensor core”為題,于 1 月 6 日發(fā)表在頂級科學期刊《自然》(Nature)上。

(來源:Nature)

據(jù)論文描述,研究人員開發(fā)了一種新的方法和架構,通過使用基于光的處理器或光子處理器,將處理和數(shù)據(jù)存儲結合到單個芯片上。研究結果首次證明,這些設備可以快速并行處理信息,而這種能力是現(xiàn)有電子芯片無法做到的。

研究人員表示,通過這種利用光的獨特屬性來加速 AI 處理的方式,可能會加速光學計算領域的變革。

新型硬件系統(tǒng)的發(fā)展

隨著 AI 的興起,傳統(tǒng)的電子計算方法逐漸達到了其性能極限,并且滯后于可處理數(shù)據(jù)的快速增長。在各種類型的 AI 系統(tǒng)中,人工神經(jīng)網(wǎng)絡由于優(yōu)異的性能而被廣泛應用于 AI 任務,這些網(wǎng)絡使用多層相互連接的人工神經(jīng)網(wǎng)絡進行復雜的數(shù)學運算。

為了加速人工神經(jīng)網(wǎng)絡的處理,人們已經(jīng)做出了各種努力來設計和實現(xiàn)特定的電子計算系統(tǒng)。特別值得一提的是,人們在專用集成電路、大腦靈感計算和內(nèi)存計算等定制芯片的應用上,已經(jīng)取得了相當大的成功,這些芯片通過一系列稱為憶阻器的內(nèi)存設備直接進行處理。

圖 | 新型光子處理器的并行卷積處理示意圖(來源:牛津大學)

在電子計算中,電子是信息的載體,但一直以來光子都被認為是一種更優(yōu)的替代選擇。因為光譜覆蓋的波長范圍很廣,不同波長的光子可以同時多路復用(并行傳輸)和調(diào)制(通過改變它們可以攜帶信息),而不會使光信號相互干擾。

這種以光速傳播信息的方式能達到目前最小的時間延遲。此外,無源傳輸有助于實現(xiàn)超低功耗,而相位調(diào)制可以輕松調(diào)制并檢測出頻率高于 40 千兆赫的光。

在過去的幾十年里,光纖通信取得了巨大的成功。然而,使用光子進行計算仍然具有一定的挑戰(zhàn)性,特別是在規(guī)模和性能水平上,其與最先進的電子處理器相比更具挑戰(zhàn)性。這一困難來自于缺乏合適的并行計算機制、使用材料來允許人工神經(jīng)元的高速非線性響應以及可擴展的光子器件來集成到計算硬件中。

幸運的是,過去幾年來,光學頻率梳(Optical Frequency Combs)的發(fā)展為集成光子處理器帶來了新的機會。光學頻率梳是一組光源,其發(fā)射光譜由數(shù)千或數(shù)百萬條頻率均勻且間隔緊密的清晰譜線組成。這些器件在光譜學、光學時鐘計量和電信等領域取得了巨大的成功,其可以集成到計算機芯片中,并用作光學計算的高效能源,非常適合采用波分復用技術(WDM)進行數(shù)據(jù)并行處理。

光子處理器:為 AI 加速

在此次工作中,研究人員成功研制了一個集成光子處理器,該處理器可以對跨越二維空間的光信號進行卷積處理。該設備在基于相變材料(一種可以在非晶相和晶相之間切換的材料)的“內(nèi)存”計算架構中使用光學頻率梳。

通過波長復用,該處理器可以對輸入數(shù)據(jù)進行充分的并行化處理,并利用相變材料的集成單元陣列進行類似的矩陣矢量乘法運算。

(來源:Nature)

該團隊也針對矩陣—向量乘法開發(fā)了一個硬件加速器。由于不同波長的光不會相互干擾,研究人員可以使用多個波長的光進行并行計算。

為了做到這一點,他們使用了洛桑聯(lián)邦理工學院(EPFL)開發(fā)的另一項創(chuàng)新技術,一種基于芯片的“頻率梳”,并以此作為光源。頻率梳可以提供各種不同的光波,這些光波在同一個光子芯片中相互獨立地處理。

該研究的負責人之一、EPFL 的 Tobias Kippenberg 教授說:“我們的研究首次將頻率梳應用于人工神經(jīng)網(wǎng)絡領域�！� Kippenberg教授在頻率梳發(fā)展方面做出開創(chuàng)性的研究工作。

同時,該研究的負責人之一、明斯特大學(WWU)的 Wolfram Pernice 教授也表示:“在機器學習領域,用于加速任務的光子處理器使復雜的數(shù)學任務能夠以很高的速度和處理量處理,這比依賴電子數(shù)據(jù)傳輸?shù)膫鹘y(tǒng)芯片快得多�！�

在設計和制造完光子芯片后,研究人員在一個可識別手寫數(shù)字的神經(jīng)網(wǎng)絡上對其進行了測試。這些網(wǎng)絡受到生物學的啟發(fā),是機器學習領域的一個概念,主要用于圖像或音頻數(shù)據(jù)的處理。

論文的第一作者之一 Johannes Feldmann 表示:“輸入數(shù)據(jù)和一個或多個過濾器之間的卷積運算非常適合我們的矩陣體系結構。利用光進行信號傳輸使處理器能夠通過波分多路復用執(zhí)行并行數(shù)據(jù)處理,這保證了更高的計算密度,并且僅需一個時間步長就可以進行許多矩陣乘法。與通常在較低頻率工作的傳統(tǒng)電子設備相比,光調(diào)制速度可以達到 50-100GHz 范圍�！�

牛津大學的 Nathan Youngblood 認為,“利用波分多路復用可以實現(xiàn)更高的數(shù)據(jù)速率和計算密度,也就是處理器單位面積上的操作,這是以前無法實現(xiàn)的�！�

這種高度并行化的框架,有可能在單個步驟中高速處理整個圖像。在不久的將來,該系統(tǒng)可以通過使用商業(yè)制造程序和輔助現(xiàn)場機器學習來進行大規(guī)模擴展。

新型硬件的巨大應用潛力

由于卷積過程涉及到無源傳輸,所以理論上光子處理核心的計算能以光速和低功耗來進行。這種能力對于能源密集型應用程序非常有價值,比如應用在云計算中。

鑒于傳統(tǒng)電子計算方法面臨的挑戰(zhàn),集成光子學的出現(xiàn)是令人興奮的。它作為一個潛在的“接班人”,為未來的計算架構實現(xiàn)前所未有的性能。

然而,建造一個實用的光學計算機仍將需要廣泛的跨學科努力和材料科學、光子學、電子學等領域的研究人員之間的合作。

圖 | 用于在光照下運行的矩陣乘法處理器的示意圖(來源:Oxford University)

盡管報道的光子處理器具有較高的單位面積計算能力和潛在的可擴展性,但全光學計算規(guī)模仍然很小。此外,由于存在固有的吸收光的計算元件,以及光電信號經(jīng)常需要轉(zhuǎn)換,能源效率會受到一些限制。

未來另一個研究方向是,發(fā)展先進的非線性集成光子計算架構,而不是單一或二維的線性卷積。

通過將電子電路和數(shù)千或數(shù)百萬個光子處理器集成到一個合適的架構中,一種同時利用光子和電子處理器的混合光電框架,或許在不久的將來可以徹底改變 AI 硬件。未來,這種硬件將在通信、數(shù)據(jù)中心營運和云計算等領域具有十分重要的應用。