目錄
- 引言
- [1] 基於感知和認知系統的邏輯關係推理
- 作者介紹
- 分享內容
- system1 和 syetem2 reasoning
- GMNN: Graph Markov Neural Networks (ICML2019)
- Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
- 總結
- [2] 圖神經網絡在信息檢索等領域的應用
- 作者介紹
- 分享內容
- 數據：結構化、半結構化
- Free-Text Knowledge Graph (WebConf2020)
- Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
- 總結
- [3] 圖神經網絡在推薦系統的前沿研究
- [4] 圖神經網絡的表達能力
- [5] 構建高效易用的深圖學習引擎
引言
聽這個講座的時候，怕沒聽懂，錄了屏，並進行了整理。不過由於軟件故障，何向南老師的內容有三處沒錄上，斷開了，每段缺失1-2分鐘，不影響整體觀感。
鏈接：https://pan.baidu.com/s/1QU-3yEcTL2oFkGNJMxLImg
提取碼：0pzm
如有侵權，請聯繫我刪除。
[1] 基於感知和認知系統的邏輯關係推理
作者介紹
唐建 Mila和HEC Montreal的助理教授
個人主頁
分享內容
system1 和 syetem2 reasoning
放一張ppt。
- system1 reasoning適用於快速思考、system2 reasoning適用於緩慢思考
- 當前的深度學習普遍處於system1，正在向system2邁進。
- system1是直覺系統，主要負責快速、無意識、非語言的認知，這是目前深度學習主要做的事情；
- system2是邏輯分析系統，是有意識的、帶邏輯、規劃、推理以及可以語言表達的系統。這是未來深度學習需要着重考慮的。
再放一張ppt
GMNN: Graph Markov Neural Networks (ICML2019)
motivation：
contribution：
system1 or system2：
- 半監督+EM算法
- system1 和 system2 結合
Probabilistic Logic Neural Networks for Reasoning (NeurIPS2019)
motivation：
method：
system1 or system2：
總結
唐建老師分享的內容圍繞着system1和system2進行展開，現有的DL方法正在由system1逐步邁向system2，唐老師的幾篇文章都是講system1和system2的優勢相結合，這顯然會比單純的system1方法結果要好。
[2] 圖神經網絡在信息檢索等領域的應用
作者介紹
熊辰炎 微軟研究院高級研究員
個人主頁
分享內容
說實話，這部分內容我都沒太聽懂。。。
數據：結構化、半結構化
結構化數據的優劣：
使用的數據大多是半結構化的。
Free-Text Knowledge Graph (WebConf2020)
motivation：
Transformer-XH: Modeling Semi-structured Information with eXtra-Hop Attentions (ICLR2020)
用transformer去model半結構化的數據。
總結
講的主要內容都是基於半結構化數據，而且較爲偏向NLP領域，我沒太聽懂，收穫是：工業上可能有些時候無法去進行昂貴的數據標註，只能使用半結構化的數據，所以這類方法可能更具有現實意義？
[3] 圖神經網絡在推薦系統的前沿研究
作者介紹
何向南 中國科學技術大學大數據學院教授
個人主頁
分享內容
Related Work
CF: Collaborative Filtering，協同過濾
早期CF：手動計算相似度，用cosin等方法，再進行融合。
近10年：在隱空間學用戶和物品的表示，衡量相似度。
近兩年：把整個圖都拿過來，學習相似度。
NGCF (SIGIR2019)
將用戶、物品關係建模成二分圖，用高階連接性（對於節點u，指的是u能到達的所有節點，但是路徑長度要大於1）建模協同過濾的信號。
method：
LightGCN (SIGIR2020)
針對CF task，對GCN進行改進。
method：
最終得到的模型很簡單，丟掉了self-connection，但是能夠達到有self-connection的效果。
DGCF (SIGIR2020)
motivation：
中間的方法部分，沒錄上，沒有ppt。
總結
何老師講的內容，都有着很明確的motivation，雖然我們不做推薦這個領域，但是發現問題、研究問題的過程其實都應該是互通的。何老師講的三篇論文是漸進的，一步一步改進的，但每次改進都能帶來較大提升，這種能把方法做成一系列的，非常值得我們思考和借鑑。
[4] 圖神經網絡的表達能力
作者介紹
沈華偉 中國科學院計算技術研究所研究員，智源青年科學家
個人主頁
分享內容
GNN的框架
GNN的表達能力
一層GCN和兩層GCN的對比如下圖所示，深度越深，**節點表達能力**更高（表達能力還有：圖表達能力、結構表達能力）。
但是GCN的表達能力存在瓶頸：
下面介紹WL Test。
WL Test是aggregation-based GNNs的表達能力上限。
結論：
解決方法：
總結
思考：
- DNN理論上能夠逼近任意連續函數，近似能力強，無需擔心表達能力，需要考慮泛化能力。
- GCN能不能做深？需要把特徵變換、鄰居聚合分開做，因爲鄰居聚合會給GCN的表達能力帶來瓶頸。
[5] 構建高效易用的深圖學習引擎
作者介紹
王敏捷 亞馬遜上海人工智能研究院應用科學家
個人主頁
分享內容
GNN和PageRank的計算方式存在很大的共通之處：
圖分析引擎
現有深度學習框架
現有的深度學習框架對圖神經網絡支持不好，原因在於圖計算和張量計算的區別。
DGL: Deep Graph Library
這部分是王老師分享的主要內容，也是他們團隊做的東西。DGL是圖世界和張量世界的一座橋，適用於圖神經網絡的深度學習引擎。
總結
- 目前沒有較好的、較全面的圖神經網絡計算引擎。
- 圖計算和張量計算存在本質區別。