題目：BiNE: Bipartite Network Embedding
作者：Ming Gao, Leihui Chen, Xiangnan He & Aoying Zhou
來源：SIGIR 2018
源碼：https://github.com/clhchtcjj/BiNE
當前的許多網絡表示學習方法主要是針對同質網絡的，忽略了二部圖的特殊性質。本文提出一種的專門針對二部圖的網絡表示學習方法 。通過有偏隨機遊走，生成的節點序列很好地保留節點在原始二部圖中的長尾分佈。本文基於節點的顯式聯繫和隱式聯繫，提出一種新的優化方法。
傳統NE方法對於二部圖而言不是最優的理由：
（1）沒有考慮節點類型。與同質網絡不同，二部圖中有兩種類型節點，雖然同類型節點之間不存在邊，但是具有隱式聯繫。傳統的隨機遊走方法雖然能夠捕捉高階隱式聯繫，但是不夠高效。
（2）產生的序列可能無法保留二部圖的特性。例如經過deepwalk隨機遊走採樣後的序列，節點度並不滿足冪律分佈。而冪律分佈是二部圖的一個重要特性。
（1）通過原始的二部圖分別生成U和V兩張圖
（2）在U和V上分別進行有偏隨機遊走，得到序列集合 D U D^U D U D V D^V D V
（3）SGA更新代表節點 u i u_i u i v j v_j v j u → i \overrightarrow{\mathbf{u}}_{i} u i v → j \overrightarrow{\mathbf{v}}_{j} v j
我們定義一個二部圖 G = ( U , V , E ) G=(U, V, E) G = ( U , V , E ) U U U V V V E ⊆ U × V E \subseteq U \times V E ⊆ U × V w i j w_{ij} w i j W = [ w i j ] ∈ R ∣ U ∣ × ∣ V ∣ \mathbf{W}=\left[w_{i j}\right] \in \mathbb{R}^{|U|\times|V|} W = [ w i j ] ∈ R ∣ U ∣ × ∣ V ∣ u → i \overrightarrow{\mathbf{u}}_{i} u i v → j \overrightarrow{\mathbf{v}}_{j} v j u i u_i u i v j v_j v j d d d f : U ∪ V → R d f : U \cup V \rightarrow \mathbb{R}^{d} f : U ∪ V → R d
二部圖中，存在於兩種類型節點之間的邊提供了顯式關係。與LINE建模一階相似度類似，本文將二部圖節點的顯式關係建模爲兩個相連節點的局部相似性，u i u_i u i v j v_j v j (1) P ( i , j ) = w i j ∑ e i j ∈ E w i j
P(i, j)=\frac{w_{i j}}{\sum_{e_{i j} \in E} w_{i j}}{\tag 1}
P ( i , j ) = ∑ e i j ∈ E w i j w i j ( 1 ) u i u_i u i v j v_j v j (2) P ^ ( i , j ) = 1 1 + exp ( − u → i T v → j )
\hat{P}(i, j)=\frac{1}{1+\exp \left(-\overrightarrow{\mathbf{u}}_{i}^{T} \overrightarrow{\mathbf{v}}_{j}\right)}{\tag 2}
P ^ ( i , j ) = 1 + exp ( − u i T v j ) 1 ( 2 ) (3) minimize O 1 = K L ( P ∥ P ^ ) = ∑ e i j ∈ E P ( i , j ) log ( P ( i , j ) P ^ ( i , j ) ) ∝ − ∑ e i j ∈ E w i j log P ^ ( i , j )
\begin{aligned} \text { minimize } O_{1} &=K L(P \| \hat{P})=\sum_{e_{i j} \in E} P(i, j) \log \left(\frac{P(i, j)}{\hat{P}(i, j)}\right) \\ & \propto-\sum_{e_{i j} \in E} w_{i j} \log \hat{P}(i, j) \end{aligned}{\tag 3}
minimize O 1 = K L ( P ∥ P ^ ) = e i j ∈ E ∑ P ( i , j ) log ( P ^ ( i , j ) P ( i , j ) ) ∝ − e i j ∈ E ∑ w i j log P ^ ( i , j ) ( 3 )
兩個同類型節點之間沒有邊直接連接，但是如果存在節點間存在路徑，則二者之間存在某種隱式關係；其中路徑的數目和長度表明該隱式關係的強度。直接計算兩個節點之間的路徑計算開銷大，在大規模網絡中難以實現。本文采用DeepWalk等工作中採用的隨機遊走策略。具體地，首先通過執行隨機遊走將二分圖轉換爲兩個頂點序列語料庫; 然後從語料庫中學習嵌入。
由於週期性的原因，二分圖上沒有靜態的隨機遊走分佈，所以直接在二分圖上執行隨機遊走可能失敗。爲了解決該問題，我們考慮在兩個具有同類型節點二階節點相似度的同質圖上進行隨機遊走。
定義兩個節點的二階相似度如下：(4) w i j U = ∑ k ∈ V w i k w j k ; w i j V = ∑ k ∈ U w k i w k j
w_{i j}^{U}=\sum_{k \in V} w_{i k} w_{j k} ; \quad w_{i j}^{V}=\sum_{k \in U} w_{k i} w_{k j}{\tag 4}
w i j U = k ∈ V ∑ w i k w j k ; w i j V = k ∈ U ∑ w k i w k j ( 4 ) w i j U = w i ⋅ ⋅ w j ⋅ w_{i j}^{U} = w_{i\cdot} \cdot w_{j \cdot} w i j U = w i ⋅ ⋅ w j ⋅ W U = [ w i j U ] ∈ R ∣ U ∣ × ∣ U ∣ \mathbf{W}^{U}=\left[w_{i j}^{U}\right] \in \mathbb{R}^{|U|\times|U|} W U = [ w i j U ] ∈ R ∣ U ∣ × ∣ U ∣ W V = [ w i j V ] ∈ R ∣ V ∣ × ∣ V ∣ \mathbf{W}^{V}=\left[w_{i j}^{V}\right] \in \mathbb{R}^{|V|\times|V|} W V = [ w i j V ] ∈ R ∣ V ∣ × ∣ V ∣
此時可以使用截斷隨機遊走分別生成兩個語料以訓練得到高階隱式關係。但是爲了保留真實二部圖的節點分佈特徵，本文提出使用一種有偏、自適應的隨機遊走方法 。
【1】從某個節點開始進行隨機遊走的次數，與該節點的重要性正相關 。節點重要性可由中心度（centrality）衡量。
【2】設置每一步隨機遊走停止的概率 。deepwalk及其他方法中使用的是固定長度的遊走序列，本文的遊走序列是可變長度的，目的是爲了與自然語言中句子長度可變的事實更接近。
隨機遊走的具體算法如下：
隱式關係與LINE二階相似度定義相同，如果兩個節點上下文相似，則兩個節點存在隱式關係。
二部圖中有U和V兩種節點，其中以U爲例，令 D U D^{U} D U C S ( u i ) C_{S}\left(u_{i}\right) C S ( u i ) u i u_i u i (5) maximize O 2 = ∏ u i ∈ S ∧ S ∈ D U ∏ u c ∈ C S ( u i ) P ( u c ∣ u i )
\text { maximize } O_{2}=\prod_{u_{i} \in S \wedge S \in D^{U}} \prod_{u_{c} \in C_{S}\left(u_{i}\right)} P\left(u_{c} | u_{i}\right){\tag 5}
maximize O 2 = u i ∈ S ∧ S ∈ D U ∏ u c ∈ C S ( u i ) ∏ P ( u c ∣ u i ) ( 5 ) (6) maximize O 3 = ∏ v j ∈ S ∧ S ∈ D V ∏ v c ∈ C S ( v j ) P ( v c ∣ v j )
\text { maximize } O_{3}=\prod_{v_{j} \in S \wedge S \in D^{V}} \prod_{v_{c} \in C_{S}\left(v_{j}\right)} P\left(v_{c} | v_{j}\right){\tag 6}
maximize O 3 = v j ∈ S ∧ S ∈ D V ∏ v c ∈ C S ( v j ) ∏ P ( v c ∣ v j ) ( 6 ) (7) P ( u c ∣ u i ) = exp ( u → i T θ c → ) ∑ k = 1 ∣ U ∣ exp ( u → i T θ k → ) , P ( v c ∣ v j ) = exp ( v → j T ϑ → c ) ∑ k = 1 ∣ V ∣ exp ( v → j T θ k → )
P\left(u_{c} | u_{i}\right)=\frac{\exp \left(\overrightarrow{\mathbf{u}}_{i}^{T} \overrightarrow{\boldsymbol{\theta}_{c}}\right)}{\sum_{k=1}^{|U|} \exp \left(\overrightarrow{\mathbf{u}}_{i}^{T} \overrightarrow{\boldsymbol{\theta}_{k}}\right)}, \quad P\left(v_{c} | v_{j}\right)=\frac{\exp \left(\overrightarrow{\mathbf{v}}_{j}^{T} \overrightarrow{\boldsymbol{\vartheta}}_{c}\right)}{\sum_{k=1}^{|V|} \exp \left(\overrightarrow{\mathbf{v}}_{j}^{T} \overrightarrow{\boldsymbol{\theta}_{k}}\right)}{\tag 7}
P ( u c ∣ u i ) = ∑ k = 1 ∣ U ∣ exp ( u i T θ k ) exp ( u i T θ c ) , P ( v c ∣ v j ) = ∑ k = 1 ∣ V ∣ exp ( v j T θ k ) exp ( v j T ϑ c ) ( 7 )
跟LINE相同，式（7）計算複雜度太高，使用負採樣。首先根據節點的鄰居，使用局部敏感哈希（LSH）將節點分桶。給定一箇中心節點，就從其他桶裏隨機挑選一個節點作爲負樣本。該方法可以保證得到高質量、多樣化的負樣本。
負樣本條件概率如下：(8) p ( u c , N S n s ( u i ) ∣ u i ) = ∏ z ∈ { u c } ∪ N S n s ( u i ) P ( z ∣ u i )
p\left(u_{c}, N_{S}^{n s}\left(u_{i}\right) | u_{i}\right)=\prod_{z \in\left\{u_{c}\right\} \cup N_{S}^{n s}\left(u_{i}\right)} P\left(z | u_{i}\right){\tag 8}
p ( u c , N S n s ( u i ) ∣ u i ) = z ∈ { u c } ∪ N S n s ( u i ) ∏ P ( z ∣ u i ) ( 8 ) P ( z ∣ u i ) = { σ ( u → i T θ ⃗ z ) , if z is a context of u i 1 − σ ( u → i T θ ⃗ z ) , z ∈ N S n s ( u i )
P\left(z | u_{i}\right)=\left\{\begin{array}{ll}{\sigma\left(\overrightarrow{\mathbf{u}}_{i}^{T} \vec{\theta}_{z}\right),} & {\text { if } z \text { is a context of } u_{i}} \\ {1-\sigma\left(\overrightarrow{\mathbf{u}}_{i}^{T} \vec{\theta}_{z}\right),} & {z \in N_{S}^{n s}\left(u_{i}\right)}\end{array}\right.
P ( z ∣ u i ) = ⎩ ⎨ ⎧ σ ( u i T θ z ) , 1 − σ ( u i T θ z ) , if z is a context of u i z ∈ N S n s ( u i ) σ ( − x ) = 1 − σ ( x ) \sigma(-x) = 1-\sigma(x) σ ( − x ) = 1 − σ ( x )
聯合優化總體目標函數：(9) maximize L = α log O 2 + β log O 3 − γ O 1
\text { maximize } L=\alpha \log O_{2}+\beta \log O_{3}-\gamma O_{1} {\tag 9}
maximize L = α log O 2 + β log O 3 − γ O 1 ( 9 )
Setp1 ：對於一個隱式關係，通過最大化上式最後一個部分L 1 = − γ O 1 L_{1}=-\gamma O_{1} L 1 = − γ O 1 u → i \overrightarrow{\mathbf{u}}_{i} u i v → j \overrightarrow{\mathbf{v}}_{j} v j (10) u → i = u → i + λ { γ w i j [ 1 − σ ( u → i T v → j ) ] ⋅ v → j }
{\overrightarrow{\mathbf{u}}_{i}=\overrightarrow{\mathbf{u}}_{i}+\lambda\left\{\gamma w_{i j}\left[1-\sigma\left(\overrightarrow{\mathbf{u}}_{i}^{T} \overrightarrow{\mathbf{v}}_{j}\right)\right] \cdot \overrightarrow{\mathbf{v}}_{j}\right\}}{\tag{10}}
u i = u i + λ { γ w i j [ 1 − σ ( u i T v j ) ] ⋅ v j } ( 1 0 )
(11) v → j = v → j + λ { γ w i j [ 1 − σ ( u → i T v → j ) ] ⋅ u → i }
{\overrightarrow{\mathbf{v}}_{j}=\overrightarrow{\mathbf{v}}_{j}+\lambda\left\{\gamma w_{i j}\left[1-\sigma\left(\overrightarrow{\mathbf{u}}_{i}^{T} \overrightarrow{\mathbf{v}}_{j}\right)\right] \cdot \overrightarrow{\mathbf{u}}_{i}\right\}}{\tag{11}}
v j = v j + λ { γ w i j [ 1 − σ ( u i T v j ) ] ⋅ u i } ( 1 1 )
Setp2 ：將 u i u_i u i v j v_j v j L 2 = α log O 2 L_{2}=\alpha \log O_{2} L 2 = α log O 2 L 3 = β log O 3 L_{3}=\beta \log O_{3} L 3 = β log O 3 u i u_i u i v j v_j v j u c u_c u c v c v_c v c (12) u → i = u → i + λ { ∑ z ∈ { u c } ∪ N S n s ( u i ) α [ I ( z , u i ) − σ ( u → i T θ ⃗ z ) ] ⋅ θ ⃗ z }
\overrightarrow{\mathbf{u}}_{i}=\overrightarrow{\mathbf{u}}_{i}+\lambda\left\{\sum_{z \in\left\{u_{c}\right\} \cup N_{S}^{n s}\left(u_{i}\right)} \alpha\left[I\left(z, u_{i}\right)-\sigma\left(\overrightarrow{\mathbf{u}}_{i}^{T} \vec{\theta}_{z}\right)\right] \cdot \vec{\theta}_{z}\right\}{\tag{12}}
u i = u i + λ ⎩ ⎨ ⎧ z ∈ { u c } ∪ N S n s ( u i ) ∑ α [ I ( z , u i ) − σ ( u i T θ z ) ] ⋅ θ z ⎭ ⎬ ⎫ ( 1 2 )
(13) v → j = v → j + λ { ∑ z ∈ { v c } ∪ N n s ( v i ) β [ I ( z , v j ) − σ ( v j → T ϑ ⃗ z ) ] ⋅ ϑ ⃗ z }
\overrightarrow{\mathbf{v}}_{j}=\overrightarrow{\mathbf{v}}_{j}+\lambda\left\{\sum_{z \in\left\{v_{c}\right\} \cup N^{n s}\left(v_{i}\right)} \beta\left[I\left(z, v_{j}\right)-\sigma\left(\overrightarrow{\mathbf{v}_{j}}^{T} \vec{\vartheta}_{z}\right)\right] \cdot \vec{\vartheta}_{z}\right\}{\tag{13}}
v j = v j + λ ⎩ ⎨ ⎧ z ∈ { v c } ∪ N n s ( v i ) ∑ β [ I ( z , v j ) − σ ( v j T ϑ z ) ] ⋅ ϑ z ⎭ ⎬ ⎫ ( 1 3 )
其中 I ( z , u i ) I\left(z, u_{i}\right) I ( z , u i ) z z z u i u_i u i (14) θ z → = θ z → + λ { α [ I ( z , u i ) − σ ( u i → T θ → z ) ] ⋅ u → i }
\overrightarrow{\boldsymbol{\theta}_{z}}=\overrightarrow{\boldsymbol{\theta}_{z}}+\lambda\left\{\alpha\left[I\left(z, u_{i}\right)-\sigma\left(\overrightarrow{\mathbf{u}_{i}}^{T} \overrightarrow{\boldsymbol{\theta}}_{z}\right)\right] \cdot \overrightarrow{\mathbf{u}}_{i}\right\}{\tag{14}}
θ z = θ z + λ { α [ I ( z , u i ) − σ ( u i T θ z ) ] ⋅ u i } ( 1 4 )
(15) ϑ ⃗ z = ϑ ⃗ z + λ { β [ I ( z , v j ) − σ ( v j → T ϑ → z ) ] ⋅ v → j }
\vec{\boldsymbol{\vartheta}}_{z}=\vec{\boldsymbol{\vartheta}}{z}+\lambda\left\{\beta\left[I\left(z, v_{j}\right)-\sigma\left(\overrightarrow{\mathbf{v}_{j}}^{T} \overrightarrow{\boldsymbol{\vartheta}}_{z}\right)\right] \cdot \overrightarrow{\mathbf{v}}_{j}\right\}{\tag{15}}
ϑ z = ϑ z + λ { β [ I ( z , v j ) − σ ( v j T ϑ z ) ] ⋅ v j } ( 1 5 )
總體訓練過程如下：
聯合優化函數eq（9）是一個非凸函數，所以初始化對於找到合適的解非常重要。本文通過預訓練eq（9）得到節點embedding初始值。
相比於傳統的同質圖NE方法，BiNE能夠有效地利用二部圖（異質圖）的特點，生成不同類型節點的embedding。效果更好
異質圖NE的SOTA方法Metapath++認爲顯式聯繫和隱式聯繫的作用相等，並且忽略了圖上節點之間的權重信息；而BiNE考慮了限制聯繫和隱式聯繫分別的作用，並且很好地利用了權重信息。
本文提出的隨機遊走生成方法，每個節點採樣的遊走序列數與節點的重要性相關，並且序列長度不固定。更符合圖的原始分佈。
二部圖的特點
節點符合冪律分佈
Suchit Pongnumkul and Kazuyuki Motohashi. A bipartite fitness model for online music streaming services. Physica A: Statistical Mechanics and its Applications, 490:1125–1137, 2018.
deepwalk採樣序列節點度不滿足冪律分佈，對二部圖結果造成影響的分析
隨機遊走停止概率p的設置，什麼時候句子長，什麼時候句子短
負採樣方法，LSH和loguniform分佈採樣，哪個好
LSH挑選其他桶的樣本，保證負樣本與當前節點不相似；O（1）時間複雜度，O（n）空間複雜度
loguniform分佈採樣，根據熱度採樣，懲罰熱門節點 ；O（1）時間複雜度，O（1）空間複雜度
採樣時間複雜度？
二部圖節點排序
Xiangnan He, Ming Gao, Min-Yen Kan, and Dingxian Wang. Birank: Towards ranking on bipartite graphs. TKDE, 29(1):57–71, 2017
