Graph embedding: 从word2vec到DeepWalk

本文介绍的是2014年的一篇文章《DeepWalk: Online Learning of Social Representations》，附个链接https://arxiv.org/pdf/1403.6652.pdf，这是NLP中的表示学习算法第一次被引入到图结构当中。如标题，本文先来介绍word2vec的基本概念，再来介绍下如何将利用word2vec来表示图结构。

一、Skip-Gram

提到word2vec，主要有两个算法，cbow和skip-gram，相对来说后者更为常用。目标是通过训练，用向量embedding来表示词，向量embedding中包含了词的语义和语法信息。

统计语言模型需要计算出一句话在词袋空间中出现的概率，通常的优化目标是最大化概率 $Pr(w_n|w_0,w_1,...,w_{n-1})$ 。w表示词袋中的单词，序号表示了词在句子中的顺序关系。但是这个目标实现起来比较困难。

Skip-Gram放宽了限制，做了一些调整。1）不再用句子中前面的词来预测下一个词，而是用当前词去预测句子中周围的词；2）周围的词包括当前词左右两侧的词；3）丢掉了词序信息，在预测周围词的时候，不考虑与当前词的距离。优化目标是最大化同一个句子中同时出现的词的共现概率，如公式（1）所示，其中k表示滑窗大小。

$maxmize(logPr( \{w_{i-k},...,w_{i-1},w_{i+1},...,w_{i+k} \}|w_i) )$ (1)

Skip-Gram的模型结构如下图所示，在整个词袋vocabulary中预测上下文词，在输出端需要做一个|V|维度的分类，|V|表示词袋vocabulary中词的数量。每一次迭代计算量非常庞大，这是不可行的。为了解决这个问题，采用了Hierarchical Softmax分类算法。

Hierarchical Softmax

如下图所示，构建一个二叉树，每一个词或者分类结果都分布在二叉树的叶子节点上。在做实际分类的时候，从根节点一直走到对应的叶子节点，在每一个节点都做一个二分类即可。假设这是一颗均衡二叉树，并且词袋的大小是|V|，那么从根走到叶子节点只需要进行次计算，远远小于|V|次计算量。

具体如何计算？我们以上图中预测为例进行介绍。树的根部输入的是的向量，用 $\phi(v_1)$ 表示。在二叉树的每一个节点上都存放一个向量，需要通过学习得到，最后的叶子节点上没有向量。显而易见，整棵树共有|V|个向量。规定在第k层的节点做分类时，节点左子树为正类别，节点右子树是负类别，该节点的向量用表示。那么正负类的分数如公式(2)(3)所示。在预测的时候，需要按照蓝色箭头的方向做分类，第0层分类结果是负类，第1层分类结果是正类，第2层分类结果是正类，最后到达叶子节点。最后把所有节点的分类分数累乘起来，作为预测的概率，如公式(4)所示，并通过反向传播进行优化。

$p_k(left) = sigmoid(\phi(v_1) \cdot v(k))$ （2）

$p_k(right) =1- sigmoid(\phi(v_1) \cdot v(k)) = sigmoid(-\phi(v_1) \cdot v(k))$ （3）

$p(v_5|v_1) = \prod p_k = p_0(right) · p_1(left)· p_2(left)$ （4）

Huffman编码是一种熵编码方式，对于出现频率高的符号用较短的编码表示，出现频率较低的符号用较长的编码表示，从而达到编码压缩的目的。Hierarchical Softmax树也可以采用Huffman编码的方式生成，高频词用较短的路径到达，低频词用较长的路径到达，可以进一步降低整个训练过程的计算量。

顺便提一句，如果输出端是对所有词的softmax分类的话，那么在Skip-gram模型中，分别有输入和输出两个矩阵，一般是采用输出矩阵作为表示向量。但是如果采用Hierarchical Softmax分类的话，输出端就不存在输出矩阵了，就只能采用输入矩阵作为表示向量了。

二、DeepWalk

DeepWalk的思路很简单，将随机游走产生的序列当做句子，输入给skip-gram算法，从而得到节点的向量表示，具体算法过程如下图所示。其中，G表示表示网络，包括节点V和边E， $\gamma$ 表示要随机游走的轮数，t表示每一次随机游走的长度。第1步是初始化节点的表示向量，第2步构建Hierarchical Softmax Tree，第5步表示对所有的节点，都要作为起点随机游走一次，第6步表示从节点出发，随机游走t步得到序列 $W_{v_i}$ ，第7步表示将序列进行Skip-Gram的训练。

前文提到过，Skip-Gram丢掉了句子中的词序信息，以及词与词之间的距离信息，这也适合网络表示学习，丢掉随机游走的顺序信息能够灵活地捕获节点之间的邻近关系。如果两个节点具有相同的邻域，Skip-Gram学习出来的表示向量也接近或者相似，有利于在下游任务上取得好的效果。

不管是在NLP中，还是在graph中，学习到的向量只是中间结果，用于作为下游任务的输入。例如在图中对节点做多标签分类任务时，第一步先通过DeepWalk进行无监督训练，得到所有节点的特征向量；第二步，通过一些分类器对节点进行分类。不同于传统的方法，DeepWalk将标签和表示空间分割开来，标签和表示向量相互独立，学习到的特征向量可以应用于各种不同的任务。而且试验证明，特征向量和最简单的分类算法相结合，比如逻辑回归，也能获得好的效果。

算法中有一个参数t，是随机游走的步长，即需要限定随机游走的长度，不要过长，有几个好处，1）可以捕获网络中局部区域的结构信息；2）易于实现并行化，多个线程，进程，甚至服务器，可以同时随机游走网络的不同部分，实现分布式计算，这个后边还会再提一下；3）能够适应网络的变化，网络局部发生变化时，可以只对局部网络进行学习和训练，而不需要对整个网络重新学习。

算法变种

1）streaming

训练前看不到整个网络，实时的将游走的序列丢到网络中进行训练。这对于构建hierarchical Softmax Tree比较麻烦，如果能够事先知道有多少个节点，以及节点的出现频率，就可以事先构建一个Huffman二叉树。否则的话，每次新遇到一个节点，将节点加到二叉树的叶子节点中。

2）Non-Random Walks

用户在访问某些网站的时候，可能会受到网站的引导而进行一些操作，因此访问过程可能并不随机，不过这并没有关系。对这些非随机的访问过程的训练，使得算法可以学习到网络的结构信息，以及访问路径的频次情况。

良好的可伸缩性

DeepWalk具有良好的可伸缩性，可以多台机器同时训练网络的不同部分。而且节点的出现频次符合指数分布，大部分低频节点都分布在长尾。多台机机器同时训练也不太会发生冲突，文中提出可以采用异步的随机梯度下降（ASGD）。下图中左边表示训练时间和机器数量的关系，服务器增加，训练时间也线性减少；右边表示服务器数量和效果的关系，随着服务器增加，训练出来的模型效果几乎没什么变化。