目录
- 引言
- [1] 基于感知和认知系统的逻辑关系推理
- 作者介绍
- 分享内容
- system1 和 syetem2 reasoning
- GMNN: Graph Markov Neural Networks (ICML2019)
- Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
- 总结
- [2] 图神经网络在信息检索等领域的应用
- 作者介绍
- 分享内容
- 数据：结构化、半结构化
- Free-Text Knowledge Graph (WebConf2020)
- Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
- 总结
- [3] 图神经网络在推荐系统的前沿研究
- [4] 图神经网络的表达能力
- [5] 构建高效易用的深图学习引擎
引言
听这个讲座的时候，怕没听懂，录了屏，并进行了整理。不过由于软件故障，何向南老师的内容有三处没录上，断开了，每段缺失1-2分钟，不影响整体观感。
链接：https://pan.baidu.com/s/1QU-3yEcTL2oFkGNJMxLImg
提取码：0pzm
如有侵权，请联系我删除。
[1] 基于感知和认知系统的逻辑关系推理
作者介绍
唐建 Mila和HEC Montreal的助理教授
个人主页
分享内容
system1 和 syetem2 reasoning
放一张ppt。
- system1 reasoning适用于快速思考、system2 reasoning适用于缓慢思考
- 当前的深度学习普遍处于system1，正在向system2迈进。
- system1是直觉系统，主要负责快速、无意识、非语言的认知，这是目前深度学习主要做的事情；
- system2是逻辑分析系统，是有意识的、带逻辑、规划、推理以及可以语言表达的系统。这是未来深度学习需要着重考虑的。
再放一张ppt
GMNN: Graph Markov Neural Networks (ICML2019)
motivation：
contribution：
system1 or system2：
- 半监督+EM算法
- system1 和 system2 结合
Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
motivation：
method：
system1 or system2：
总结
唐建老师分享的内容围绕着system1和system2进行展开，现有的DL方法正在由system1逐步迈向system2，唐老师的几篇文章都是讲system1和system2的优势相结合，这显然会比单纯的system1方法结果要好。
[2] 图神经网络在信息检索等领域的应用
作者介绍
熊辰炎 微软研究院高级研究员
个人主页
分享内容
说实话，这部分内容我都没太听懂。。。
数据：结构化、半结构化
结构化数据的优劣：
使用的数据大多是半结构化的。
Free-Text Knowledge Graph (WebConf2020)
motivation：
Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
用transformer去model半结构化的数据。
总结
讲的主要内容都是基于半结构化数据，而且较为偏向NLP领域，我没太听懂，收获是：工业上可能有些时候无法去进行昂贵的数据标注，只能使用半结构化的数据，所以这类方法可能更具有现实意义？
[3] 图神经网络在推荐系统的前沿研究
作者介绍
何向南 中国科学技术大学大数据学院教授
个人主页
分享内容
Related Work
CF: Collaborative Filtering，协同过滤
早期CF：手动计算相似度，用cosin等方法，再进行融合。
近10年：在隐空间学用户和物品的表示，衡量相似度。
近两年：把整个图都拿过来，学习相似度。
NGCF (SIGIR2019)
将用户、物品关系建模成二分图，用高阶连接性（对于节点u，指的是u能到达的所有节点，但是路径长度要大于1）建模协同过滤的信号。
method：
LightGCN (SIGIR2020)
针对CF task，对GCN进行改进。
method：
最终得到的模型很简单，丢掉了self-connection，但是能够达到有self-connection的效果。
DGCF (SIGIR2020)
motivation：
中间的方法部分，没录上，没有ppt。
总结
何老师讲的内容，都有着很明确的motivation，虽然我们不做推荐这个领域，但是发现问题、研究问题的过程其实都应该是互通的。何老师讲的三篇论文是渐进的，一步一步改进的，但每次改进都能带来较大提升，这种能把方法做成一系列的，非常值得我们思考和借鉴。
[4] 图神经网络的表达能力
作者介绍
沈华伟 中国科学院计算技术研究所研究员，智源青年科学家
个人主页
分享内容
GNN的框架
GNN的表达能力
一层GCN和两层GCN的对比如下图所示，深度越深，**节点表达能力**更高（表达能力还有：图表达能力、结构表达能力）。
但是GCN的表达能力存在瓶颈：
下面介绍WL Test。
WL Test是aggregation-based GNNs的表达能力上限。
结论：
解决方法：
总结
思考：
- DNN理论上能够逼近任意连续函数，近似能力强，无需担心表达能力，需要考虑泛化能力。
- GCN能不能做深？需要把特征变换、邻居聚合分开做，因为邻居聚合会给GCN的表达能力带来瓶颈。
[5] 构建高效易用的深图学习引擎
作者介绍
王敏捷 亚马逊上海人工智能研究院应用科学家
个人主页
分享内容
GNN和PageRank的计算方式存在很大的共通之处：
图分析引擎
现有深度学习框架
现有的深度学习框架对图神经网络支持不好，原因在于图计算和张量计算的区别。
DGL: Deep Graph Library
这部分是王老师分享的主要内容，也是他们团队做的东西。DGL是图世界和张量世界的一座桥，适用于图神经网络的深度学习引擎。
总结
- 目前没有较好的、较全面的图神经网络计算引擎。
- 图计算和张量计算存在本质区别。