本文為將門技術(shù)社群線上直播第188期的文字內(nèi)容整理

分享嘉賓：斯坦福大學(xué)博士后 王鴻偉

感謝整理人：Datafun 秋林津渡

導(dǎo) 讀

互聯(lián)網(wǎng)產(chǎn)業(yè)蓬勃發(fā)展的今天，個性化推薦系統(tǒng)是所有面向用戶的互聯(lián)網(wǎng)平臺的關(guān)鍵技術(shù)。知識圖譜作為一種新的知識載體，為推薦系統(tǒng)提供了額外的輔助信息來源，并有助于提升推薦結(jié)果的多樣性和可解釋性。本次分享的主題即為知識圖譜輔助的個性化推薦系統(tǒng)。

本次主題將從下面4個方面展開：

推薦系統(tǒng)的基礎(chǔ)知識知識圖譜輔助的推薦方法介紹基于embedding的知識圖譜推薦方法混合型知識圖譜推薦方法

推薦系統(tǒng)的基礎(chǔ)知識

1、什么是推薦系統(tǒng)

在當前互聯(lián)網(wǎng)時代，推薦系統(tǒng)是所有面向用戶的互聯(lián)網(wǎng)產(chǎn)品的核心技術(shù)，只要產(chǎn)品是面向用戶的，那么就有推薦系統(tǒng)的需求。

推薦系統(tǒng)是解決信息爆炸問題，給用戶推薦一個用戶感興趣的小規(guī)模集合。用戶在大量商品中，不知道如何選擇，推薦系統(tǒng)是替用戶做這個選擇，猜用戶的興趣，然后給用戶推薦一個小規(guī)模的商品集合，這樣用戶就不會迷失在大量商品中。

舉幾個推薦系統(tǒng)的例子。如下圖是imdb系統(tǒng)中的電影推薦，imdb會推薦用戶可能更感興趣的電影。

如下圖是亞馬遜系統(tǒng)中的圖書推薦，給用戶推薦和用戶更相關(guān)，用戶更感興趣的書籍。

如下圖是booking．com系統(tǒng)中旅游景點的推薦，給用戶推薦更感興趣景點。

如下圖是我們更為熟悉的推薦系統(tǒng)的例子，知乎，抖音，頭條等系統(tǒng)，都有推薦功能。

2、推薦系統(tǒng)的實現(xiàn)方法

推薦系統(tǒng)主要有2個任務(wù)，一個是評分預(yù)測（Rating Prediction）。如下圖左邊是評分預(yù)測的例子，橫坐標是物品，縱坐標是用戶。表格是用戶對物品的打分，這個評分可以顯示的反應(yīng)用戶對物品的喜好層度，1表示很不喜歡，5表示很喜歡。推薦系統(tǒng)就是預(yù)測表格中問好處的缺失值，這就叫評分，這個評分叫顯示反饋（Explicit feedback）。

另一個是點擊預(yù)測（CTR Prediction）。右邊是點擊預(yù)測的例子，表格中只有0和1，0表示用戶沒有點擊過，1表示用戶點擊過，這類數(shù)據(jù)叫隱式反饋（Implicit feedback），點擊預(yù)測只能反映用戶的非常弱的偏好層度，用戶點擊了不一定說明用戶喜歡，比如逛淘寶，用戶只是點擊了某個物品就退出了，所以點擊物品并不能代表用戶的真實感受。

推薦系統(tǒng)有一個非常經(jīng)典的方法叫協(xié)同過濾（Collaborative Filtering， CF），CF的核心是假設(shè)相似的用戶有相似的偏好。

如下圖為4個用戶對4個物品的打分情況，來預(yù)測用戶u4對物品i1的評分。通過這4個用戶在其他3個商品（i2，i3，i4）的打分，計算出其他3個用戶和u4用戶的相似度，分別是0．7，0．1，0．2，然后用相似度加權(quán)平均其他3個用戶在i1物品的打分，這樣就得到了u4對i1的評分為2．1。

協(xié)同過濾CF是根據(jù)歷史物品評分記錄，計算出用戶相似度，從而預(yù)測分數(shù)。CF是一種常見的方法，但存在以下2類問題。

第一類是稀疏性問題（Sparsity），一般情況下評分分布是相當稀疏的，比如一個用戶一輩子可能只會看幾百部電影，但電影總數(shù)達百萬量級，所以在計算相似度的時候會有困難。

第二類更進一步，冷啟動問題（Cold start），當來了一個新的用戶，這個新的用戶沒有歷史記錄，所以沒法計算相似性，就沒法做推薦。當注冊新的app時，比如讀書類的app，系統(tǒng)一開始會問你對哪些主題感興趣，因為系統(tǒng)沒有你的歷史記錄，剛開始沒法給你推薦。

知識圖譜輔助的推薦方法介紹

針對推薦系統(tǒng)出現(xiàn)的問題，我們的思路是既然用戶和物品交互很稀少，甚至沒有，那可以引入其他的一些信息，這些引入的信息叫輔助信息（Side Information）。如下圖是4類非常常見的輔助信息：社交網(wǎng)絡(luò)；用戶或商品屬性特征；多媒體信息，比如電影的海報，文本信息，視頻音頻信息等；上下文信息，假設(shè)一個用戶購買了一個商品，購買記錄的一些信息，比如時間、地點、當前用戶購物車的其他物品信息等。

1、什么是知識圖譜

知識圖譜（Knowledge Graphs， KG）也是一種輔助信息。KG是一個有向異構(gòu)圖（heterogeneous graph），圖中節(jié)點表示實體（entity），邊表示關(guān)系（relation）。

一個KG通常包含很多對三元組triple（head，relation，tail），其中head和tail是2個實體（entity），relation就是邊。

如下圖，推薦系統(tǒng)的item是電影，所以Forrest Gump是推薦系統(tǒng)的item，同時也是KG中的實體，KG中其他的實體并不是推薦系統(tǒng)的item， Forrest Gump這部電影的主演是Tom Hanks，雖然Tom Hanks是KG的實體（entity），但并不是item。把圖中左邊這些三元組（triples）組合起來，就變成了右邊的一個很大的KG。

2、為什么要在推薦系統(tǒng)中使用KG

如下圖，假設(shè)一個用戶（最左邊）看過3部電影（item），Cast Away， Back to the Future， TheGreen Mile，在KG中，可以將這3部電影連接到其他的一些事情上，比如Cast Away 這部電影的類別（genre）是冒險形（Adventure），Back to the Future的導(dǎo)演（directed）是Robert Zemeckis等，可以連接到很多其他non－item實體上，再從這些non－item實體又連接到item電影實體上，比如最右邊的Interstellar， Forrest Gump，Raiders of the Lost Ark。

KG建立一個從用戶已經(jīng)看過的電影到?jīng)]看過的電影的連接，而這些連接不是由用戶的觀看記錄得來的。在CF里，實際上是把中間這塊替換成了其他用戶，用其他用戶歷史觀看記錄得到這些連接。KG提供了另外一種關(guān)于物品連接的信息來源的方法。

如上圖是一個新聞推薦的例子，假設(shè)某個用戶看過一條新聞，這個新聞的內(nèi)容是：Boris Johnson Has Warned Donald Trump To Stick ToThe Iran Nuclear Deal。

從這條新聞中提取了4個實體，在KG中，可以對這些實體做進一步的擴展，做2次，做3次擴展，又會發(fā)現(xiàn)這些實體都指向另外一條新聞：North Korean EMP Attack Would Cause Mass U．S．Starvation， Says Congressional Report。

這2條新聞在字面上沒有任何相似度，新聞的單詞都不一樣，但他們是很相關(guān)的，這個相關(guān)性體現(xiàn)在KG上，他們在低層是相關(guān)的，但這種相關(guān)性沒法從字面意義上得到，這也是為什么要用KG，KG提供了一種item相似度的計算方式。

3、KG能給推薦系統(tǒng)帶來什么

第1個提高推薦系統(tǒng)的精度（Precision），更準確的發(fā)現(xiàn)item之間的相似性，如下圖2部電影，能通過Tom Hanks做個連接。

第2個提高推薦系統(tǒng)的多樣性（Diversity），可以通過主演擴展，可以通過電影類別擴展，也可以通過導(dǎo)演擴展，總有一款是用戶非常喜歡的。

第3個是可解釋性（Explainability），可以用KG的path來解釋系統(tǒng)為什么會推薦這部電影，如下圖某個用戶喜歡Cast Away這部電影，系統(tǒng)會推薦The Terminal這部電影，因為他們有相同的主演。

4、知識圖譜處理方法

KG 的處理方法中有一類方法叫KnowledgeGraph Embedding，KGE。KGE主要是對KG的每個實體（entity）和每個關(guān)系（relation）學(xué)習一個低維的特征。在KGE中有一個基于翻譯的距離模型，Translational distancemodels。

如上公式為TransE算法模型，對KG中的每一個tuple（h，r，t），學(xué)習到的entity embedding，relation embedding，使h＋r約等于t，這的r相當于翻譯作用，把h翻譯成t，f函數(shù)對每個tuple的真實分值越小越好。

如圖（a）是TransE模型，假設(shè)head對應(yīng)的embedding加上relation對應(yīng)的embedding等于tail對應(yīng)的embedding。基于TransE有很多擴展模型，比如TransH， TransR。

TransH解決的是一對多的問題，某一個head和relation可能會對應(yīng)多個tail，如圖（b），把head和tail都投影到一個平面上，然后讓它們在相對應(yīng)的平面上做轉(zhuǎn)換。TransR是把head和tail都投影到另外一個空間中，在新的空間里讓h＋r＝t。 KG－aware Recommender Systems正式方法大概可以分為3類。

第一類是Embedding－based methods，基于embedding的方法，embedding是前面介紹的KG embedding，關(guān)于這類方法，下圖列舉了5篇論文，今天將會介紹第2篇和第5篇。

第二類是Path－based methods，基于KG計算路徑的推薦方法，今天不會涉及這類方法。

第三類是Hybrid methods，結(jié)合embedding和path的方法，今天將介紹一下第1、3、4篇，第3、4是比較統(tǒng)一的方法。

5、知識圖譜輔助的推薦系統(tǒng)問題定義

已知一個用戶的集合Users，一個物品的集合Items，用戶和物品之間的交互（relations，yuv），一個包括很多non－item實體的KG。圖中yuv表示用戶u對物品v的一個隱式反饋，即用戶有沒有點擊過這個物品，目標是給定一個新的u－v對，預(yù)測點擊率yuv。

公式定義如上圖。用戶集合U＝｛u1，u2，．．．｝，物品集合V＝｛v1，v2，．．．｝，交互矩陣（隱式反饋）Y矩陣Y＝｛yuv ？ ｛0，1｝ ｜ u？U， v？V｝，KG包括實體（entity）和關(guān)系（relation），由很多三元組組成。

每個物品v在KG中可能對應(yīng)一個或多個實體。物品是實體的一個子集。
目的是學(xué)習一個預(yù)測函數(shù)F，給定一對u，v，可以輸出一個預(yù)測分值？uv，θ是目前的一個參數(shù)。

基于embedding的知識圖譜推薦方法

1、DKN方法

DKN： Deep knowledge－aware network for newsrecommendation， 屬于基于embedding的知識圖譜推薦方法，是2018年發(fā)表的論文，這篇論文是關(guān)于新聞推薦。

如上圖，給出一段新聞，提取新聞中的實體，根據(jù)這些實體，構(gòu)建一個知識圖譜的子圖，對知識圖譜做embedding映射，得到每個實體的embedding，最后就得到每個實體的特征向量。

如上圖，對于某個實體Fight Club，只有其對應(yīng)的embedding還不夠，在KG中每個實體，連接著好多其他的實體，那這些臨近實體就是該實體的上下文，將這些上下文中的每個實體的embedding相加平均，就得到該實體的上下文embedding。如上圖公式中ē就是實體ei的上下文embedding。

在NLP中有一個模型叫KimCNN，主要是給定一個sentence，返回一個特征向量。如上圖給定一個n個單詞的sentence（圖中n為7），對每個單詞做embedding映射，embedding的長度為d（圖中d為5），得到一個d＊n的wordembedding矩陣。用7個卷積核做卷積進行featuremaps，得到7個1維向量，對每個向量做池化（Max pooling），得到該sentence的word embedding。

前面介紹中已有3種特征向量，分別是實體embeddings， 上下文embeddings， word embedings，我們的方法是把這3種embeddings做一個累加，卷積，池化，最后得到這個sentence的embeddings，這種方法叫KCNN。

接下來介紹基于KCNN做推薦的方法。如上圖假設(shè)某個用戶已經(jīng)點擊過了3條新聞，來了一個候選新聞，預(yù)測該用戶對候選新聞的點擊率。對這4條新聞做KCNN的embedding映射，得到4個特征向量。因為用戶看過的新聞的重要性對候選新聞是不一樣的，用Attention Net計算用戶看過的每一條新聞和候選新聞的決策分值。用得到的分值加權(quán)觀看記錄，得到User embedding。將user embedding和candidate news embedding拼接，輸出一個預(yù)測的點擊概率，這個就是做預(yù)測的DKN模型。

2、MKR方法

MKR：Multi－TaskFeature Learning for Knowledge Graph Enhanced Recommendation，屬于基于embedding的知識圖譜推薦方法，是2019年發(fā)表在WWW的論文，是一個多任務(wù)的模型。

如上圖為MKR框架，包括3個模塊，一個是推薦模塊，一個是knowledge graph embedding， KGE模塊，還有一個是以上2個模塊的橋梁，cross＆compress units，交叉壓縮單元，下面將分別闡述這3個模塊。

推薦系統(tǒng)模塊，輸入是user， item，輸出是用戶對物品的點擊率。模塊分2塊，一個是low－level的部分，一個是high－level的部分。在low－lever部分，用了一個MLP（multi－layer perceptron）來處理用戶的特征UL，item是cross＆compressunits做的處理，返回一個物品的特征VL，把UL和VL拼接起來，用一個recommendation system函數(shù)fRS，輸出一個點擊預(yù)測值。

KGE模塊，也分成low－lever和high－level部分，輸入head，用cross＆compress unites來做特征處理，relation用MLP做特征處理，把這2個處理結(jié)果拼接起來，經(jīng)過一個K層的MLP，得到一個predictedtail，預(yù)測的tail和真實的tail用一個函數(shù)fKG算一個分值，這樣就可以優(yōu)化這個score值。

這個多任務(wù)之所以能做起來，主要是推薦系統(tǒng)模塊的物品（item）和KGE模塊的實體（entity）是對應(yīng)的，很多item可以在KGE中找到對應(yīng)的entity，item和entity是對同一個物品的描述，他們的embedding在某種層度上是相似的，是可以被連接的。中間的cross＆compressunits就是這個連接結(jié)合，這個模塊是在每一層都有，在l層，輸入是item的embedding vl和entity的embedding el，輸出是下一層的embedding。

這個模塊計算分2步，第一步是cross，第二步是compress。

cross操作是將vl，el做一個cross，vl是一個d＊1的向量，elT是1＊d的向量，矩陣相乘后得到一個d＊d的矩陣Cl。

compress是將交叉后的矩陣Cl重新壓縮回embedding space，這塊細節(jié)部分可以參考論文。通過參數(shù)wl壓縮輸出vl＋1，el＋1。

學(xué)習算法中l(wèi)oss的計算公式如上圖。LRS是推薦系統(tǒng)的loss，預(yù)測user－item的分值uv和真實分值yuv的差距。LKG是KG的loss，對于真實tuple（h，r，t），預(yù)測分值score越大越好，而對于隨機替換tuple（h’， r， t’）（負樣本），預(yù)測的分值越小越好。LREG是正則項。

算法實現(xiàn)第1塊是推薦系統(tǒng)的任務(wù)，第2塊是KGE任務(wù)，交替訓(xùn)練2者。在每次循環(huán)里面，做t次的RS的任務(wù)訓(xùn)練，做1次的KGE任務(wù)訓(xùn)練，做t次RS訓(xùn)練是因為更關(guān)注RS任務(wù)，這個t是可以調(diào)整的，這就是MKR模型。

混合型知識圖譜推薦方法

1、RippleNet方法

RippleNet： Propagating User Preferenceson the Knowledge Graph for Recommender Systems，屬于混合型知識圖譜推薦方法，是2018發(fā)表在CIKM的一篇論文。

Ripple從名字上理解是水波的意思，水波是一層一層的，那這個算法是指在KG中某個實體，和該實體相連的其他實體也有一跳，二跳，三跳的關(guān)系，如上圖列出了ForrestGump這部電影對應(yīng)的3跳的臨近實體。

如上圖是RippleNet框架，輸入是一對user－item，輸出是用戶對物品的點擊預(yù)測值。

對輸入用戶u，獲取用戶的點擊記錄Vu，在KG中找到對應(yīng)的Vu，比如圖中有2個對應(yīng)實體，獲取這些實體對應(yīng)的tuple，把實體一跳的集合拿出來。對輸入物品v做embedding映射。如上公式，將item embedding v和這些head hi在R空間中做一個softmax，得到v相對于每個head的分值pi。

如上圖公式，用pi加權(quán)平均對應(yīng)的tail embedding ti，得到輸出ou1，即當前用戶u的一跳的特征，對應(yīng)圖中綠色豎條，可以看成該用戶對當前物品的一階響應(yīng)（User＇s1－order response）。

繼續(xù)拿ou1特征重復(fù)之前的操作，拿ou1和物品二跳的tuple算一個p值，加權(quán)對應(yīng)的tail embedding，得到ou2。

重復(fù)做下去，得到很多跳的響應(yīng)值oui，把這些響應(yīng)值加起來，得到用戶最終的embedding。

用這個用戶embedding和物品最初的embedding做內(nèi)積，再用一個sigmoid函數(shù)得出點擊預(yù)測值。

學(xué)習算法如上圖，在已知KG和RippleNet系統(tǒng)情況下，學(xué)習參數(shù)，最大化后驗概率。通過貝葉斯定理，可以把該公式拆成3個值。第1項是參數(shù)的先驗分布，用上面這個公式來刻畫這個先驗概率分布p（θ），這項對應(yīng)的是正則項loss。

第2項給定參數(shù)θ，KG的概率，這項對應(yīng)的是KG的embedding部分。當（h，r，t）是正樣本，Ih，r，t接近1，反之為0，希望hTRt能接近真實的tuple值。

第3項已知參數(shù)θ和KG，用戶和物品交互的似然函數(shù)。這個似然函數(shù)是一個伯努利分布，關(guān)于用戶和物品內(nèi)積的伯努力分布。

把這3項用負log做處理，得到loss函數(shù)，優(yōu)化這個模型。

2、KGCN和KGCN－LS方法

KGCN：Knowledge GraphConvolutional Networks for Recommender Systems，是發(fā)表在2019年WWW上的一篇論文。KGNN－LS：Knowledge－awareGraph Neural Networks with Label Smoothness Regularization for RecommenderSystems，是發(fā)表在2019年KDD上的一篇論文，這篇是基于第1篇的擴展，這2篇論文一塊講解。核心思想是基于KG輔助的推薦，但引入了一個新的模型GCN（圖神經(jīng)網(wǎng)絡(luò)），方法是基于GCN對KG擴展一個模型。

在KG中的邊沒有顯示權(quán)值，只是一個關(guān)系類型。引入一個relation scoring function su（r），對每個relation打分，從而把KG轉(zhuǎn)換成weightedgraph。函數(shù)su（r）的輸入是user和relation，輸出一個分值。核心思想是識別用戶關(guān)注的類型，比如有些用戶偏好同種類的電影，有些用戶偏好某個主演的電影。su（r）用來刻畫不同用戶對不同relation的偏好層度，將user embeding和relation embedding內(nèi)積，算出相應(yīng)的分值。把異構(gòu)KG轉(zhuǎn)換成weighted graph，這樣一個graph對應(yīng)鄰接矩陣Au，下標為u是因為每個用戶對應(yīng)的鄰接矩陣是不一樣的，su（r）是取決于用戶。

把KG中實體信息通過GNN做一個融合，如上圖公式是一個標準的GNN的公式，Au是用戶對應(yīng)的鄰接矩陣。

Du是Au的三角對稱矩陣diagonal degree matrix。

Wl就是訓(xùn)練傳輸參數(shù)矩陣。

Hl，Hl＋1是entity對應(yīng)的embedding矩陣。

σ是一個非線性函數(shù)。

這個式子本質(zhì)是在KG上做了一個多跳的message passing，把實體周圍的那些臨近點的特征向中間聚集，最后一層學(xué)到的特征是融合了多跳的臨近點的特征。當?shù)玫阶詈笠粚觘mbedding Hl后，就可以做點擊預(yù)測。

上圖公式中u對應(yīng)的是Userembedding。

vu是根據(jù)前面KGNN計算得出的關(guān)于用戶的entity embedding。

通過f函數(shù)得到預(yù)測值，f函數(shù)可以取內(nèi)積，或MLP等。到這是第1篇論文的KGCN模型。

如上公式，在傳統(tǒng)GNN模型中，Au是固定的，只需要訓(xùn)練Wl。

但在我們的模型中，Au和Wl都需要訓(xùn)練，Au是通過relation scoring function計算，圖的結(jié)構(gòu)需要訓(xùn)練，導(dǎo)致模型參數(shù)很多，容易過擬合。

為了防止過擬合的問題，引入一個正則項，給模型一個約束。用label做約束，user engagement labels，指的是用戶對物品的打分值，yuv是用戶對某個物品的評分，這個評分是一個已知值，所以可以在KG中對這些點打一個標簽。用戶看過某部電影，對應(yīng)的標簽是1，沒看過的電影對應(yīng)的標簽是0，對non－item實體沒有標簽。

下一步是預(yù)測某個點的label，有一類算法叫標簽傳播算法（label propagation algorithm， LPA），這個算法是優(yōu)化下面這個函數(shù)。

遍歷所有的邊，Au是邊的權(quán)值。如果i，j節(jié)點有邊，說明這2個節(jié)點聯(lián)系比較強，那這2個節(jié)點的label會比較相近。這2個節(jié)點的邊權(quán)值越大，那這2個節(jié)點的label就越一致。這是算法LPA的一個假設(shè)，標簽過度是平滑的。

預(yù)測一個無標簽的節(jié)點，將其周圍節(jié)點的label加權(quán)平均，重復(fù)該操作直到收斂，這就是label propagation。

利用label propagation做正則項，對于一個節(jié)點v，其真實lable是yuv（圖中為0）。

利用LPA算法預(yù)測這個v的label，得到預(yù)測值？uv，算出預(yù)測值和真實值之間的損失J。

在做label propagation時，標簽傳播是取決于邊權(quán)值，所以最終預(yù)測值是關(guān)于邊權(quán)值的函數(shù)，損失J也是一個關(guān)于邊權(quán)值的函數(shù)。損失函數(shù)R（A）是一個關(guān)于A的函數(shù)，所以可以把梯度往這個損失函數(shù)中傳播，起到一個正則項的作用。

如上圖，回顧一下整個模型，把原始異構(gòu)KG轉(zhuǎn)成weighted graph，學(xué)習邊的權(quán)值，得到一個鄰接矩陣，用GNN得到entity embedding，用這個entity embedding 和user embedding來做這個預(yù)測，得到預(yù)測值？uv，用？和真實值y得到一個loss，反向傳播，將誤差梯度向前傳播，更新Au和參數(shù)W。

下面部分是正則項，鄰接矩陣為參數(shù)，做一個labelpropagation，得到預(yù)測值？uv，用？和y得到一個loss，反向傳播，更新Au。

總結(jié)一下，本文主要介紹了3個部分的內(nèi)容，第1部分介紹了知識圖譜是推薦系統(tǒng)的一種新的輔助信息。另外2個部分介紹了兩類知識圖譜推薦方法，一類是基于embedding的知識圖譜推薦方法，包括DKN和MKR，一類是混合型知識圖譜推薦方法，包括RippleNet、KGCN和KGNN－LS。