圖神經(jīng)網(wǎng)絡(luò)入門,圖神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)
目錄圖神經(jīng)網(wǎng)絡(luò)背后的動機(jī)GNN 算法GNN 在 Karate 網(wǎng)絡(luò)上的實(shí)現(xiàn)GNN 的應(yīng)用GNN 的挑戰(zhàn)GNN 研究論文圖神經(jīng)網(wǎng)絡(luò)背后的動機(jī)由于圖形能夠以可以客觀分析的方式表示現(xiàn)實(shí)世界,因此如今它們受到了很多關(guān)注。圖可用于表示許多現(xiàn)實(shí)世界的數(shù)據(jù)集,如社交網(wǎng)絡(luò)、分子結(jié)構(gòu)、地圖、網(wǎng)絡(luò)鏈接數(shù)據(jù)、自然科學(xué)、蛋白質(zhì)-蛋白質(zhì)相互作用網(wǎng)絡(luò)、知識圖等。此外,非結(jié)構(gòu)化數(shù)據(jù),如圖像文本可以以圖形的形式建模。圖是對一組對象(節(jié)點(diǎn))及其關(guān)系(邊)進(jìn)行建模的數(shù)據(jù)結(jié)構(gòu)。圖分析作為一種獨(dú)特的機(jī)器學(xué)習(xí)非歐數(shù)據(jù)結(jié)構(gòu),側(cè)重于節(jié)點(diǎn)分類、圖分類、鏈接預(yù)測、圖聚類和圖可視化等任務(wù)。圖神經(jīng)網(wǎng)絡(luò) (GNN) 是基于深度學(xué)習(xí)的方法,可在圖域上運(yùn)行。由于其在涉及非歐空間的現(xiàn)實(shí)世界問題中的良好表現(xiàn),GNN 已成為近來廣泛應(yīng)用的圖分析方法。
圖神經(jīng)網(wǎng)絡(luò)算法一個節(jié)點(diǎn)可以用它的特征和圖中的相鄰節(jié)點(diǎn)來表示。GNN 的目標(biāo)是學(xué)習(xí)一個狀態(tài)嵌入,它對每個節(jié)點(diǎn)的鄰域信息進(jìn)行編碼。狀態(tài)嵌入用于產(chǎn)生輸出,例如預(yù)測節(jié)點(diǎn)標(biāo)簽的分布。GNNs 是信息擴(kuò)散機(jī)制和神經(jīng)網(wǎng)絡(luò)的結(jié)合,代表了一組轉(zhuǎn)換函數(shù)和一組輸出函數(shù)。信息擴(kuò)散機(jī)制由節(jié)點(diǎn)表示,節(jié)點(diǎn)在其中更新其狀態(tài),并通過將“消息”傳遞給其相鄰節(jié)點(diǎn)來交換信息,直到它們達(dá)到穩(wěn)定的平衡。轉(zhuǎn)換函數(shù)以每個節(jié)點(diǎn)的特征、每個節(jié)點(diǎn)的邊緣特征、相鄰節(jié)點(diǎn)的狀態(tài)和相鄰節(jié)點(diǎn)的特征作為輸入,輸出是節(jié)點(diǎn)的新狀態(tài)。
圖 2
空手道俱樂部社交網(wǎng)絡(luò)上的圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)
在本節(jié)中,讓我們看看如何將 GNN 應(yīng)用于空手道網(wǎng)絡(luò),這是一種簡單的圖網(wǎng)絡(luò)。
1. 空手道網(wǎng)絡(luò)資料背景:兩個 34×34 矩陣ZACHE 對稱,二進(jìn)制ZACHC 對稱,有值。
這些數(shù)據(jù)是 Wayne Zachary 從大學(xué)空手道俱樂部成員那里收集的。ZACHE 矩陣表示俱樂部成員之間是否存在聯(lián)系;ZACHC 矩陣表示關(guān)聯(lián)的相對強(qiáng)度(發(fā)生互動的俱樂部內(nèi)外情況的數(shù)量)。
Zachary (1977) 利用這些數(shù)據(jù)和網(wǎng)絡(luò)沖突解決的信息流模型來解釋這個群體在成員之間發(fā)生糾紛后的分裂。
2.使用的數(shù)據(jù)
此數(shù)據(jù)可以轉(zhuǎn)換為 2 個 CSV 文件:
node.csv 存儲每個俱樂部成員及其屬性。34 名俱樂部成員用“Id”從 0 到 33 表示。他們所在的俱樂部 – Mr Hi(Node id 0) 或 Mr Officer(Node id 1) 用“Club”欄表示。
edge.csv 存儲兩個俱樂部成員之間的成對交互。權(quán)重被賦予由“權(quán)重”特征表示的節(jié)點(diǎn) id 之間的這些交互。
Nodes.csv – Self Project
Edges.csv – Self Project
3. 使用 DGL 庫進(jìn)行圖形表示:然后我們構(gòu)建一個圖,其中每個節(jié)點(diǎn)都是俱樂部成員,每條邊代表他們的互動。在 DGL 中,節(jié)點(diǎn)是從零開始的連續(xù)整數(shù)。因此,在準(zhǔn)備數(shù)據(jù)時,重要的是重新標(biāo)記或重新洗牌行順序,以便第一行對應(yīng)于第一個節(jié)點(diǎn),依此類推。在本例中,我們已經(jīng)按照正確的順序準(zhǔn)備了數(shù)據(jù),因此我們可以通過edges.csv 表中的“Src”和“Dst”列創(chuàng)建圖形。加載 DGL 圖的代碼:import dgl
src = edges_data['Src'].to_numpy()
dst = edges_data['Dst'].to_numpy()
# Create a DGL graph from a pair of numpy arrays
g = dgl.graph((src, dst))
出于可視化目的,我們可以將 DGL 圖轉(zhuǎn)換為網(wǎng)絡(luò)圖:import networkx as nx
# Since the actual graph is undirected, we convert it for visualization purpose.
nx_g = g.to_networkx().to_undirected()
# Kamada-Kawaii layout usually looks pretty for arbitrary graphs
pos = nx.kamada_kawai_layout(nx_g)
nx.draw(nx_g,pos, with_labels=True)
DGL 圖網(wǎng)絡(luò)
4. 空手道網(wǎng)絡(luò)上的 GNN 模型訓(xùn)練:將俱樂部特征添加到 DGL 圖中:# The "Club" column represents which
community does each node belong to.
# The values are of string type, so we must convert it to either categorical
# integer values or one-h(huán)ot encoding.
club = nodes_data['Club'].to_list()
# Convert to categorical integer values with 0 for 'Mr. Hi', 1 for 'Officer'.
club = torch.tensor([c == 'Officer' for c in club]).long()
# We can also convert it to one-h(huán)ot encoding.
club_onehot = F.one_h(yuǎn)ot(club)
print(club_onehot)
# Use `g.ndata` like a normal dictionary
g.ndata.update({'club' : club, 'club_onehot' : club_onehot})
將邊緣特征更新為 DGL 圖:# Get edge features from the DataFrame and feed it to graph.
edge_weight = torch.tensor(edges_data['Weight'].to_numpy())
# Similarly, use `g.edata` for getting/setting edge features.
g.edata['weight'] = edge_weight
更新節(jié)點(diǎn)嵌入:node_embed = nn.Embedding(g.number_of_nodes(), 5) # Every node has an embedding of size 5.
inputs = node_embed.weight # Use the embedding weight as the node features.
nn.init.xavier_uniform_(inputs)
更新 2 個組長的標(biāo)簽功能 - 0 和 33 ids 為:labels = g.ndata['club']
labeled_nodes = [0, 33]
使用 GraphSage 模型將 GNN 實(shí)現(xiàn)為:from dgl.nn import SAGEConv
# build a two-layer GraphSAGE model
class GraphSAGE(nn.Module):
def __init__(self, in_feats, h_feats, num_classes):
super(GraphSAGE, self).__init__()
self.conv1 = SAGEConv(in_feats, h_feats, 'mean')
self.conv2 = SAGEConv(h_feats, num_classes, 'mean')
def forward(self, g, in_feat):
h = self.conv1(g, in_feat)
h = F.relu(h)
h = self.conv2(g, h)
return h
# Create the model with given dimensions
# input layer dimension: 5, node embeddings
# hidden layer dimension: 16
# output layer dimension: 2, the two classes, 0 and 1
net = GraphSAGE(5, 16, 2)
設(shè)置損失和優(yōu)化器并將模型訓(xùn)練為:# in this case, loss will in training loop
optimizer = torch.optim.Adam(itertools.chain(net.parameters(), node_embed.parameters()), lr=0.01)
all_logits = []
for e in range(100):
# forward
logits = net(g, inputs)
# compute loss
logp = F.log_softmax(logits, 1)
loss = F.nll_loss(logp[labeled_nodes], labels[labeled_nodes])
# backward
optimizer.zero_grad()
loss.backward()
optimizer.step()
all_logits.a(chǎn)ppend(logits.detach())
if e % 5 == 0:
print('In epoch {}, loss: {}'.format(e, loss))
輸出 :
獲得結(jié)果為:pred = torch.a(chǎn)rgmax(logits, axis=1)
print('Accuracy', (pred == labels).sum().item() / len(pred))
輸出 :
圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用GNN 能夠解決的問題 :節(jié)點(diǎn)分類:手頭的任務(wù)是通過利用其鄰居的標(biāo)簽來確定節(jié)點(diǎn)的標(biāo)簽。通常,這種類型的問題是以半監(jiān)督的方式訓(xùn)練的,只有一部分圖被標(biāo)記。圖分類:該過程是將整個圖分為不同的類別。
示例:在生物信息學(xué)中確定蛋白質(zhì)是否為酶,在 NLP或社交網(wǎng)絡(luò)分析中對文檔進(jìn)行分類。圖形可視化:它處理圖形的可視化表示,揭示數(shù)據(jù)中可能存在的結(jié)構(gòu)和異常,并幫助用戶理解圖形。正如本博客前面提到的,一些可視化圖形的方法是網(wǎng)絡(luò)和 dgl。鏈接預(yù)測:該算法用于理解圖中實(shí)體之間的關(guān)系,并嘗試預(yù)測兩個實(shí)體之間是否存在連接。它還可以用于推薦系統(tǒng)和預(yù)測犯罪組織。
它在社交網(wǎng)絡(luò)中用于推斷社交互動或向用戶推薦潛在朋友。圖聚類:這意味著以圖的形式對數(shù)據(jù)進(jìn)行聚類。有兩種不同形式的聚類在圖數(shù)據(jù)頂點(diǎn)和圖聚類上執(zhí)行。頂點(diǎn)聚類是指 根據(jù)邊權(quán)重或邊距離將圖的節(jié)點(diǎn)聚類成一組密集連接的區(qū)域。圖聚類是將圖作為待聚類的對象,根據(jù)聚類特征的相似性對這些對象進(jìn)行聚類。
圖神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)
1.動態(tài)特性——由于 GNN 是動態(tài)圖,處理具有動態(tài)結(jié)構(gòu)的圖可能是一個挑戰(zhàn)。
2.可擴(kuò)展性——在社交網(wǎng)絡(luò)或推薦系統(tǒng)中應(yīng)用嵌入方法對于包括 GNN 在內(nèi)的所有圖嵌入算法來說在計(jì)算上可能很復(fù)雜。
3.非結(jié)構(gòu)化數(shù)據(jù)——GNNs 也難以應(yīng)用于非結(jié)構(gòu)化場景。為 GNN 尋找最佳圖生成方法是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。
圖神經(jīng)網(wǎng)絡(luò)研究論文列出了一些論文,以深入了解 GNN 及其在某些應(yīng)用領(lǐng)域中正在進(jìn)行的工作——A Comprehensive Survey on Graph Neural Networks. arxiv 2019. https://arxiv.org/pdf/1901.00596.pdfZonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu.Graph Neural Networks: A Review of Methods and Applications. AI Open 2020. https://doi.org/10.1016/j.a(chǎn)iopen.2021.01.001Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Maosong Sun.Supervised Neural Networks for the Classification of Structures. IEEE TNN 1997. https://ieeexplore.ieee.org/abstract/document/572108Alessandro Sperduti and Antonina Starita.A new model for learning in graph domains. IJCNN 2005. https://www.researchgate.net/profile/Franco_Scarselli/publication/4202380_A_new_model_for_earning_in_raph_domains/links/0c9605188cd580504f000000.pdfMarco Gori, Gabriele Monfardini, Franco Scarselli.Deep Learning on Graphs: A Survey. arxiv 2018.Ziwei Zhang, Peng Cui, Wenwu Zhu.
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
10月31日立即下載>> 【限時免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報(bào)名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 1 【一周車話】沒有方向盤和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無人駕駛車,還未迎來“Chatgpt時刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 6 馬斯克致敬“國產(chǎn)蘿卜”?
- 7 神經(jīng)網(wǎng)絡(luò),誰是盈利最強(qiáng)企業(yè)?
- 8 比蘋果偉大100倍!真正改寫人類歷史的智能產(chǎn)品降臨
- 9 諾獎進(jìn)入“AI時代”,人類何去何從?
- 10 Open AI融資后成萬億獨(dú)角獸,AI人才之爭開啟
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市