论文解析:Variational Graph Auto-Encoders

论文解析:Variational Graph Auto-Encoders

  • 作者:Thomas N. Kipf, Max Welling, 和GCN的作者是一样的
  • 会议:Bayesian Deep Learning Workshop (NIPS 2016), NIPS的一个workshop,不是长文
  • 论文链接:Variational Graph Auto-Encoders
  • 代码链接:tkipf/gae

VAE

Variational Auto-Encoder (VAE),变分自编码器,主要由两部分构成,一个Encoder和一个Decoder, 主要用于生成式模型,Encoder把input变成是概率分布,从概率分布中采样得到隐变量Z,Decoder把这个隐变量Z变成output.
Auto-Encoder (AE),其他步骤与VAE类似,但是Encoder把input直接变成隐变量Z
对于本文,就是要做一个从图的节点特征以及部分边到图的所有边的生成模型。隐变量就是图节点的表示,Encoder就是图节点的编码器,Decoder就是图的边生成器。

GAE

GAE是GCN在Auto-Encoders (AE)的应用,非常容易理解,隐变量Z就是图上的N个节点经过GCN后的N*F维特征,Encoder就是两层GCN, Decoder就是向量点积。可以将隐变量Z理解为某种意义上图的节点的相似度,通过向量点积得到的两个图节点的相似度越大,则两个节点之间存在边的概率越大

VGAE

GAE是GCN在Variational Graph Auto-Encoders (VAE)的应用。Encoder用两个两层GCN分别得到N个均值和标准差,这两个GCN会共享第一层的参数,从而得到N个正态分布。Decoder仍然是向量点积

损失函数

对于每个边,VAE会生成一个预测值,与真实值(0/1, 0代表无边,1代表有边)之间的交叉熵函数就是损失函数

实验

本文的实验通过在图学习三大经典数据集:Cora, Citeseer, Pubmed上扔掉一些边来构造数据集,然后预测扔掉的边是否存在。评价指标是AUC和Precision. 对比方法是图谱方法和DeepWalk, 都是图学习领域的经典baseline. 实验结果入下图所示:
在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章