本文是對《LINE：Large-scale Information Network Embedding》一文的淺顯翻譯與理解，原文章已上傳至個人資源，如有侵權即刻刪除。
文章目錄
Title
《LINE: Large-scale Information Network Embedding》
——WWW2015
Author: Jian Tang
總結
文章提出了LINE算法，該算法將節點之間的相互連接視爲一階相似度，對兩節點各自的建立一階相似度的節點序列（即各自的節點鄰居序列），其間的相似度爲二階相似度。
算法通過引入二階相似度，將一些性質相似但並未建立連接的節點，在嵌入後表示得關係更加密切。
1 一階二階相似度
First-order Proximity: 對節點u和v形成的一條邊，會有相應的權重w_u,v，該權重即爲一階相似度。
Second-order Proximity: 令p_u={w_u,1,…,w_u,|v|}，即與u構成一階相似度的所有權重。對p_u和p_v，兩序列的相似度即爲二階相似度。
2 LINE
First-order Proximity（僅能作用於無向圖）：
對無向邊(i,j)，有節點間的聯合概率爲：
其中u_i是節點v_i的低維向量表示，對式(1)，其經驗概率爲：
對上述目標函數進行最小化則有：
其中d(·,·)爲兩個分佈的距離，此處用到了KL散度來衡量，通過替換d和省略一些常量，則有：
Second-order Proximity（有向無向都可作用）：
每個節點扮演着兩個角色：節點本身和其他節點的上下文，對節點v_i，在充當其他節點上下文時，其表徵設爲u_i’。對每條邊(i,j)，則有：
|V|表示節點的上下文節點數量，式(4)定義了條件分佈p(·|v_i)，即網絡中的節點總集，對上述目標函數進行最小化有：
由於不同節點在網路中的重要性可能不同，函數中引入λ_i來表示v_i的影響，可以通過度數或算法衡量。對p2，其經驗分佈爲：
N(i)是節點v_i的出度鄰居集，算法中令λ_i=d_i，通過使用KL散度代替式(5)中的d()，有：
3 模型優化
對式(6)的優化需要計算整個節點集的加和，計算量比較大，因此引入負採樣，則有：
對式(3)也同樣引入如式(7)形式的負採樣，對式(7)使用異步隨機梯度下降，有梯度爲：
對於學習率的選擇，會影響梯度大小。根據權重較小的邊確定學習率則梯度爆炸，根據權重較大的邊則梯度過小。
爲解決該問題，文章首先選擇將加權邊展開爲多條二進制的邊。然而這樣又會導致對內存需求過大，尤其是邊的權重過大時。因此，要從原始邊中採樣並處理爲二進制邊，並根據邊的權重確定對該邊採樣的概率。
4 問題討論
Low degree vertices:
爲準確地將低出（入）度的節點嵌入，文章爲這些節點擴展二階鄰居，即鄰居的鄰居，節點v及其二階鄰居j之間的權重爲：
New vertices:
對新到達的節點表示，如果其連接了現有已知節點，就可以得到經驗分佈。通過式(3)或(6)，爲得到新節點的嵌入，對目標函數的最小化有：
如果沒有連接任何已知節點，就需要依靠其他信息，比如節點文本信息等。