神經網絡與關係推理
author:佟學強
abstract
讓機器實現邏輯推理還差得遠。在Ai領域裏，目前統計學派和聯結主義學派比較盛行，但是類腦學科還沒突破，所以當下的Ai都是弱Ai。目前取得突破的基本都是在視覺和語音領域，nlp的進展非常緩慢。衆所周知的人類兩種智能歸納總結和演繹推理，聯結主義只是解決了歸納總結問題，而在nlp中聯結主義集中表現在文字高階特徵的抽取上，比如目前流行的w2v，textCNN,LSTM等等。文字的語義理解，需要更加高階的智能，即演繹推理能力，包括語義的聯想，上下文關聯，因果關係推理，語義的組合泛化(以有限的知識，概念作爲基，然後進行語義組合形成新的概念、知識，機器能夠推導出新的關係，邏輯)。所以nlp的道路，任重道遠。
更進一步地講，上帝創造這個世界的同時也創造了規則，然後上帝撒手，讓萬事萬物按照規則進化，運轉。牛頓晚年研究神學得到啓示：他所發現的規則是上帝制定的。人可以發現規則，事物之間總是存在關聯，最極端的情況是兩個事物之間沒有關聯以及一個事物與其他所有事物都存在關聯，大部分情況是介於兩者之間。從特殊到一般的歸納總結能力，人類在幼兒時期就已經具備了，這種學習能力有助於我們認識大自然的規則。雖然經驗主義對人類的學習起到了很大的作用，但是顯然人類在嬰幼兒時期的學習，並不依賴大量的先驗知識，窺破這種機制對目前的AI將起到非常大的推進作用。比如對於幼兒，他不理解下跌（下落）這個詞的含義，我把一個皮球拿到他眼前，然後演示皮球的自由落體運動，最後我告訴他，這個過程叫下跌。過一會兒，我寫下這麼一句話:近期由於中美貿易戰，股市下跌了(假設他之前理解了什麼叫股市)。那麼當他看到下跌這個詞時，會馬上聯想起之前我給他演示的自由落體運動，於是他理解了這句話的含義。看到了吧，這纔是真正的AI！小球下落的神經迴路與股市下跌具有極高的相似度，人腦會自動把下跌抽象化，並且人腦會推斷，不光皮球可以下跌，其他的同類都可以下跌，可以衍生出很多的組合。遇到陌生的事物，進行語義關聯和組合泛化是基本的思路，這本是邏輯推理的一種形式。也就是說，上帝創造世界的時候，只是創造了這個世界的基，這些基按照規則會創造出無限的可能性。這個組合泛化能力是當今的神經網絡最缺失的。現在的神經網絡猶如一個智商非常低的笨蛋，體型巨大，需要餵給海量數據，不能推理，而事實上，人類的學習根本不是這個樣子。我們更應該關注，如何讓機器學會有限的經驗和知識，然後運用規則進行推理。顯然，AI理論需要重塑，nlp的道路任重道遠！
但是本書並不打算全部論述邏輯推理，而是先從更加基礎的領域闡述當下比較成功的聯結主義，然後逐步過渡到邏輯推理，最後到兩者的統一。本書不僅有廣度，有深度，而且還會反思當下的AI。本書尤其重視AI中的數學知識，會涉及統計學，線代，矩陣論，微積分，泛函數分析，這些都是準確深刻理解當下AI算法的基礎，並且會思考這些算法的缺陷以及改進，讓你對Ai的理解提升檔次。因此本書的篇幅會非常地長，但保證沒有廢話，也不是簡單的應用級別的書籍。本着一以貫之的原則，最後會附上代碼，安排如下：
一、聯結主義概述(簡單論述，不講廢話)
二、深度學習的激活函數性能對比，參數優化方法：①BP算法②激活函數③優化方法：遺傳算法與模擬退火(重點大篇幅論述)
三、關於空間和時間的歸納偏置：CNN和LSTM。其中CNN包括：①數學上的卷積，卷積與傅立葉變換的關係，傅立葉變換(重點論述)②圖像中的卷積③textCNN在nlp中的應用(包括代碼)④CNN的缺陷及改進(重點論述)。LSTM部分：①從數學角度看RNN到LSTM的演化過程(重點論述)②LSTM的缺陷及改進：self_attention中的線性代數
四、圖卷積神經網絡：①爲什麼需要圖卷積?②基礎知識：拉普拉斯矩陣，傅立葉變換，pagerank算法③空間圖卷積和譜圖卷積(無向圖和有向圖推理)
五、換一個角度理解上述算法(神經規則推理)：關係，實體，規則，推理算法，知識圖譜（包括transD向量化以及最近的改進），神經網絡和圖結構的統一，總結問題
六、常見深度學習的實例代碼
1.聯結主義概述
1.1
2.深度學習
2.1 經典的BP算法
2.2 激活函數性能對比
2.3 參數優化
2.3.1 SGD與自適應學習，5折交叉驗證理論
2.3.2 你更需要遺傳算法與模擬退火
3.關於空間和時間的歸納偏置
3.1經典的CNN
3.1.1 數學上的卷積，卷積與傅立葉變換的關係，傅立葉變換
3.1.2 圖像中的卷積
3.1.2.1 圖像卷積
3.1.2.2 CNN中的padding計算方法
3.1.3 把CNN引入到nlp中
3.1.4 CNN的缺陷以及改進方法
3.2 LSTM
3.2.1 RNN,從RNN到LSTM的演化
3.2.2 LSTM的缺陷以及改進
3.2.2.1 attention的種類：外部和self
4.圖卷積神經網絡
4.1爲什麼需要GCN？
4.2 基礎知識：拉普拉斯矩陣，傅立葉變換，pagerank算法
4.2.1 拉普拉斯矩陣
4.2.2 pagerank算法
4.3 空間圖卷積
4.4 譜圖卷積
4.4.1 無向圖的推理
4.4.2有向圖的推理
5.換一個角度理解現有的算法：你更需要神經規則推理
5.1 總述
5.2 關係，實體，規則
5.3 關於GN block以及與CNN，RNN的關係對比
5.4 算法的統一
5.5 知識圖譜的向量化：transD以及改進
5.6 還有什麼沒有解決？
6.常見深度學習的實例代碼