ICLR 2020|探索新的图表征学习思路

图表示学习一直是机器学习中一个重要的问题。除却耳熟能详者有DeepWalk类者,GNNs类者,生成类如GraphGAN者等等,还有哪些模型是值得去探索的呢?下面的两篇文章分别在节点层面和图层面研究了相关的问题。

更多ICLR2020论文信息

图表示学习一直是机器学习中一个重要的问题。除却耳熟能详者有DeepWalk类者、GNNs类者、生成类如GraphGAN者等等,还有哪些模型是值得去探索的呢?下面的两篇文章分别在节点层面和图层面研究了相关的问题。

Inductive and Unsupervised Representation Learning on Graph Structured Objects

这篇文章中,作者提出了一种新的通用的思路,即SEED(Sampling,Encoding,and Embedding Distribution),在理论上分析了其和图同构的关系,实现了其中一个可能的版本,并从实验上证明了其之有效性。

这种模型架构基于两个同构的图之间的子图的分布也应该彼此较为相近的假设出发,使用两个图之间子图分布之间的距离来度量两个图之间的距离。具体地,这类模型可以概括为如下三个步骤:

(1)采样,从输入的图中采样得到很多个子图,并希望可以采集到的那些容易被编码和解码的子图;

(2)编码,作者尝试定义一个子图的好的表示应该是可以从这样的表示中很好地重构出原来子图的结构;

(3)获取子图表示分布,子图的表示向量被聚合到一个向量中作为整个图的表示向量,对于两个图而言,他们之间的距离可以被子图表示分布之间的距离度量。这样设计的目标是,希望可以寻找到一种聚合函数可以保持预先定义好的分布之间的距离。

inductive1.png

文中对于以上三个步骤均有自己的一种实现,以采样的方式为例,作者提出一种WEAVE的方法,这种方法以随机游走的方式访问节点,但与普通的随机游走不同的时,这种方法保留一个节点最早访问的时间,这样可以获得采取普通的随机游走所难以捕捉到的结构信息,如下图中,WEAVE可以很好地捕捉到图中存在的环路。

inductive2.png

同时作者也在理论上建立了WEAVES和图同构的关系。当然这个模型效果也很好。

inductive3.png

 


 

StructPool: Structured Graph Pooling via Conditional Random Fields

这篇文章的任务是图层面的表征学习。作者从graph pooling的角度出发,指出现有的很多方法并没有显示的考虑图结构的信息,并将graph pooling的过程转化为节点分类,从而其目标变为学习一个cluster assignment matrix。对于一个节点的分类不仅与这个节点的特征有关,还与其他节点的分类有关,于是文章采用条件随机场的方法来建模这种关系,并结合图结构信息设计吉布斯能量方程。

inductive4.png

 

inductive5.png

而结果也证明了这种方法的有效性。

inductive6.png

 

更多ICLR论文话题,可通过微信“Moonnn01”加入ICLR 2020 交流群讨论。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章