訂閱
糾錯
加入自媒體

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

2020-10-20 09:21
來源: Achronix

1.概述

得益于大數據的興起以及算力的快速提升,機器學習技術在近年取得了革命性的發(fā)展。在圖像分類、語音識別、自然語言處理等機器學習任務中,數據為大小維度確定且排列有序的歐氏(Euclidean)數據。然而,越來越多的現實場景中,數據是以圖(Graph)這種復雜的非歐氏數據來表示的。Graph不但包含數據,也包含數據之間的依賴關系,比如社交網絡、蛋白質分子結構、電商平臺客戶數據等等。數據復雜度的提升,對傳統(tǒng)的機器學習算法設計以及其實現技術帶來了嚴峻的挑戰(zhàn)。在此背景之下,諸多基于Graph的新型機器學習算法—GNN(圖神經網絡),在學術界和產業(yè)界不斷的涌現出來。

GNN對算力和存儲器的要求非常高,其算法的軟件實現方式非常低效,所以業(yè)界對GNN的硬件加速有著非常迫切的需求。我們知道傳統(tǒng)的CNN(卷積神經網絡網絡)硬件加速方案已經有非常多的解決方案;但是,GNN的硬件加速尚未得到充分的討論和研究,在本文撰寫之時,Google和百度皆無法搜索到關于GNN硬件加速的中文研究。本文的撰寫動機,旨在將國外最新的GNN算法、加速技術研究、以及筆者對GNN的FPGA加速技術的探討相結合起來,以全景圖的形式展現給讀者。

2.GNN簡介

GNN的架構在宏觀層面有著很多與傳統(tǒng)CNN類似的地方,比如卷積層、Polling、激活函數、機器學習處理器(MLP)和FC層等等模塊,都會在GNN中得以應用。下圖展示了一個比較簡單的GNN架構。

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

圖 1:典型的GNN架構(來源:arxiv)

但是, GNN中的Graph數據卷積計算與傳統(tǒng)CNN中的2D卷積計算是不同的。以圖2為例,針對紅色目標節(jié)點的卷積計算,其過程如下:

●Graph卷積:以鄰居函數采樣周邊節(jié)點特征并計算均值,其鄰居節(jié)點數量不確定且無序(非歐氏數據)。

2D卷積:以卷積核采樣周邊節(jié)點特征并計算加權平均值,其鄰居節(jié)點數量確定且有序(歐氏數據)。

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

圖 2: Graph卷積和2D卷積(來源:arxiv)

3. GraphSAGE算法簡介

學術界已對GNN算法進行了非常多的研究討論,并提出了數目可觀的創(chuàng)新實現方式。其中,斯坦福大學在2017年提出的GraphSAGE是一種用于預測大型圖中動態(tài)新增未知節(jié)點類型的歸納式表征學習算法,特別針對節(jié)點數量巨大、且節(jié)點特征豐富的圖做了優(yōu)化。如下圖所示,GraphSAGE計算過程可分為三個主要步驟:

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

圖 3:GraphSAGE算法的視覺表述(來源:Stanford University)

鄰節(jié)點采樣:用于降低復雜度,一般采樣2層,每一層采樣若干節(jié)點

聚合:用于生成目標節(jié)點的embedding,即graph的低維向量表征

預測:將embedding作為全連接層的輸入,預測目標節(jié)點d的標簽

為了在FPGA中實現GraphSAGE算法加速,我們需要知悉其數學模型,以便將算法映射到不同的邏輯模塊中。下圖所示的代碼闡述了本算法的數學過程。

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

圖 4:GraphSAGE算法的數學模型(來源:Stanford University)

對于每一個待處理的目標節(jié)點xv,GraphSAGE執(zhí)行下列操作:

1)通過鄰居采樣函數N(v),采樣子圖(subgraph)中的節(jié)點

2)聚合被采樣的鄰節(jié)點特征,聚合函數可以為mean()、lstm()或者 polling()等

3)將聚合結果與上一次迭代的輸出表征合并,并以Wk做卷積

4)卷積結果做非線性處理

5)迭代若干次以結束當前第k層所有鄰節(jié)點的處理

6)將第k層迭代結果做歸一化處理

7)迭代若干次以結束所有K層采樣深度的處理

8)最終迭代結果zv即為輸入節(jié)點xv的嵌入(embedding)

4.GNN加速器設計挑戰(zhàn)

GNN的算法中涉及到大量的矩陣計算和內存訪問操作,在傳統(tǒng)的x86架構的服務器上運行此算法是非常低效的,表現在速度慢,能耗高等方面。

新型GPU的應用,可以為GNN的運算速度和能效比帶來顯著收益。然而GPU內存擴展性的短板,使其無法勝任海量節(jié)點Graph的處理;GPU的指令執(zhí)行方式,也造成了計算延遲過大并且不可確定,無法勝任需要實時計算Graph的場景。

如上所述種種設計挑戰(zhàn)的存在,使得業(yè)界急需一種可以支持高度并發(fā)實時計算、巨大內存容量和帶寬、以及在數據中心范圍可擴展的GNN加速解決方案。

5.GNN加速器的FPGA設計方案

Achronix 公司推出的 Speedster7t系列高性能FPGA,專門針對數據中心和機器學習工作負載進行了優(yōu)化,消除了CPU、GPU以及傳統(tǒng) FPGA 存在的若干性能瓶頸。Speedster7t FPGA 基于臺積電的 7nm FinFET 工藝,其架構采用革命性的新型 2D 片上網絡 (NoC),獨創(chuàng)的機器學習處理器矩陣 (MLP),并利用高帶寬 GDDR6 控制器、400G 以太網和 PCI Express Gen5 接口,在保障ASIC 級別性能的同時,為用戶提供了靈活的硬件可編程能力。下圖展示了Speedster7t1500高性能FPGA的架構。

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

圖5: Achronix Speedster7t1500 高性能FPGA 架構 (來源:achronix)

如上所述種種特性,使得Achronix Speedster7t1500 FPGA器件為GNN加速器設計中所面臨的各種挑戰(zhàn),提供了完美的解決方案。

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

表1:GNN設計挑戰(zhàn)與Achronix的Speedster7t1500 FPGA解決方案

5.1 GNN加速器頂層架構

本GNN加速器針對GraphSAGE進行設計,但其架構具有一定的通用性,可以適用于其他類似的GNN算法加速,其頂層架構如下圖所示。

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

圖6: GNN加速器頂層架構(來源:Achronix原創(chuàng))

圖中GNN Core為算法實現的核心部分,其設計細節(jié)將在下文展開談論;RoCE-Lite為RDMA協議的輕量級版本,用于通過高速以太網進行遠程內存訪問,以支持海量節(jié)點的Graph計算,其設計細節(jié)將在本公眾號的后續(xù)文章中討論;400GE以太網控制器用來承載RoCE-Lite協議;GDDR6用于存放GNN處理過程中所需的高速訪問數據;DDR4作為備用高容量內存,可以用于存儲相對訪問頻度較低的數據,比如待預處理的Graph;PCIe Gen5x16提供高速主機接口,用于與服務器軟件交互數據;上述所有模塊,皆通過NoC片上網絡來實現高速互聯。

5.2 GNNCore微架構

在開始討論GNN Core 微架構之前,我們先回顧一下本文第3節(jié)中的GraphSAGE算法,其內層循環(huán)的聚合以及合并(包含卷積)等兩個操作占據了算法的絕大部分計算和存儲器訪問。通過研究,我們得到這兩個步驟的特征如下:

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

表2:GNN算法中聚合與合并操作對比(來源:arxiv)

可以看出,聚合操作與合并操作,其對計算和存儲器訪問的需求完全不同。聚合操作中涉及到對鄰節(jié)點的采樣,然而Graph屬于非歐氏數據類型,其大小維度不確定且無序,矩陣稀疏,節(jié)點位置隨機,所以存儲器訪問不規(guī)則并難以復用數據;在合并操作中,其輸入數據為聚合結果(節(jié)點的低維表征)以及權重矩陣,其大小維度固定,存儲位置規(guī)則線性,對存儲器訪問不存在挑戰(zhàn),但是矩陣的計算量非常大。

基于以上分析,我們決定在GNN Core加速器設計中用兩種不同的硬件結構來處理聚合操作與合并操作,功能框圖如下圖所示:

機器學習實戰(zhàn):GNN(圖神經網絡)加速器的FPGA解決方案

圖7: GNN Core功能框圖(來源:Achronix原創(chuàng))

聚合器(Aggregator):通過SIMD(單指令多數據處理器)陣列來對Graph進行鄰居節(jié)點采樣并進行聚合操作。其中的“單指令”可以預定義為mean()均值計算,或者其他適用的聚合函數;“多數據”則表示單次mean()均值計算中需要多個鄰居節(jié)點的特征數據作為輸入,而這些數據來自于子圖采樣器(Subgraph Sampler);SIMD陣列通過調度器Agg Scheduler做負載均衡;子圖采樣器通過NoC從GDDR6或DDR4讀回的鄰接矩陣和節(jié)點特征數據h0v,分別緩存在Adjacent List Buffer和Node Feature Buffer之中;聚合的結果hkN(v)存儲在Agg Buffer之中。

合并器(Combinator):通過脈動矩陣PE來執(zhí)行聚合結果的卷積操作;卷積核為Wk權重矩陣;卷積結果通過ReLU激活函數做非線性處理,同時也存儲在Partial Sum Buffer中以方便下一輪迭代。

合并的結果通過L2BN歸一化處理之后,即為最終的節(jié)點表征hkv。

在比較典型的節(jié)點分類預測應用中,該節(jié)點表征hkv可以通過一個全連接層(FC),以得到該節(jié)點的分類標簽。此過程屬于傳統(tǒng)的機器學習處理方法之一,沒有在GraphSAGE論文中體現,此設計中也沒有包含這個功能。

6.結論

本文深入討論了GraphSAGE GNN 算法的數學原理,并從多個維度分析了GNN加速器設計中的技術挑戰(zhàn)。作者通過分解問題并在架構層面逐一解決的方法,綜合運用Achronix Speedster7t1500 FPGA所提供的競爭優(yōu)勢,創(chuàng)造了一個性能極佳且高度可擴展的GNN加速解決方案。

聲明: 本文系OFweek根據授權轉載自其它媒體或授權刊載,目的在于信息傳遞,并不代表本站贊同其觀點和對其真實性負責,如有新聞稿件和圖片作品的內容、版權以及其它問題的,請聯系我們。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號