原创 ICLR 2020|NLP預訓練模型的全新範式：對比學習
生成式模型有着其天生的優勢，即學習到豐富的特徵，但它也有廣受詬病的確定。判別式目標函數——長期以來被認爲是無用的。這是因爲，判別式模型通常不是直接擬合原有的分佈流形，學習到的特徵較爲單一。但是，最近一些工作的基於對比學習的自監督學習框架
2020-05-01 22:58:44
原创 ICLR 2020|探索新的圖表徵學習思路
圖表示學習一直是機器學習中一個重要的問題。除卻耳熟能詳者有DeepWalk類者，GNNs類者，生成類如GraphGAN者等等，還有哪些模型是值得去探索的呢？下面的兩篇文章分別在節點層面和圖層面研究了相關的問題。 更多ICLR2020論
2020-05-01 22:58:44
原创 ICLR 2020|預訓練圖神經網絡模型
訓練是通過大量無標註的數據進行模型的訓練，得到一套模型參數，利用這套參數對模型進行初始化，再根據具體任務在現有語言模型的基礎上進行精調（MSRA）。預訓練的方法在自然語言處理與計算機視覺領域，都被證明擁有更好的效果。 ICLR 專題
2020-05-01 22:58:44
原创 ICLR 2020 滿分論文解讀|一種鏡像生成式機器翻譯模型：MGNMT
本文提出一種鏡像生成式機器翻譯模型：MGNMT(mirror-generative NMT)。實驗表明本文方法確實有效，MGNMT在各種場景和語言(包括resource rich和 low-resource語言)中始終優於現有方法。
2020-05-01 22:58:44
2
原创 ICLR 2020|反事實因果理論如何幫助深度學習？
以深度學習爲代表的表示機器學習取得了巨大的成功，尤其是在特徵提取的能力方面。但是與此同時，一個巨大的問題是深度神經網絡的黑箱問題和不穩定性問題。其中的一個根本原因，是基於相關性的統計模型容易學習到數據中的“僞關係(spurious re
2020-05-01 22:58:44
原创 ICRL 2020 會議日程解讀
因疫情影響，The International Conference on Learning Representations（ICLR 2020）遺憾地成爲首個線上虛擬學術頂會，而所有被接受的論文都要預先錄製展示視頻。雖然少了與大佬們當
2020-05-01 22:58:44
原创 ICLR 2020|小桃無主，輕帶晚鴉--從邏輯表達視角看GNN
GNN可以表現什麼可以解決什麼問題，是否有改進餘地，在建模網絡數據時，這種形式的模型是否是最優的，其它可能的方向是什麼確實值得進一步的思考。在本次ICRL中確實看到了一些研究這些問題的文章，他們在相關理論上上下求索，給出了一些有意思的結
2020-05-01 22:58:44
原创 ICLR 2020|PairNorm: Tackling Oversmoothing in GNNs
衆所周知，GNNs的表現隨着層數的增加而有所下降，這在一定程度上歸結於over-smoothing這一問題，重複圖卷積這一操作會使得節點的表示最終變得不可區分。作者希望通過採取兩種不同的理解方式來量化over-smoothing這一問題
2020-05-01 22:58:44
原创 ICLR 2020 | 淺談GNN：能力與侷限
本文簡要闡述三篇與此相關的文章，它們分別研究了基於信息傳遞的圖神經網絡GNNmp的計算能力，GNNs的推理能力和阻礙GCN變深的問題---over-fitting與over-smoothing。 本文涉及的3篇ICLR原文： Wh
2020-04-25 02:46:34
原创 ICLR 2020 | 一種高效、表達能力強的可微分歸納邏輯推理模型
本文提出一種高效的基於神經網絡的歸納邏輯學習模型（Neural Logic Inductive Learning, NLIL）。 閱讀原文：Learn to Explain Efficiently via Neural Logic I
2020-04-25 02:46:34
原创 ICLR 2020 | 基於譜方法的高效多級圖嵌入框架
提高圖嵌入的質量和效率是一直以來被關注的兩個問題。一方面，圖嵌入應該利用圖的結構性特徵以及節點的屬性特徵來提升嵌入的質量；另一方面，提高圖嵌入方法的效率和可擴展性使其能夠應用到超大規模的圖上。這兩個問題常常是正交的。因此，本文希望能夠同
2020-04-25 02:46:34
原创 ICLR 2020 全析解讀：華人作者貢獻60%，谷歌、卡內基梅隆和清華大學領跑前三
深度學習領域頂級會議——國際表徵學習大會 ICLR 2020（ International Conference on Learning Representat
2020-04-23 09:24:05
原创 ICLR2020 全析圖來了！清華大學 AMiner 上線會議智圖開放平臺
近日，清華大學 AMiner 團隊推出會議智圖開放平臺，並針對即將召開的 ICLR 2020 會議推出專題全析圖（www.aminer.cn/conf/iclr2020/），提供包括論文、作者、華人學者、一作華人學生、論文 PPT 和視頻
2020-04-23 09:24:05
原创 20篇聊天機器人領域必讀論文速遞！
聊天機器人（Chatbot）是經由對話或文字進行交談的計算機程序。其能夠模擬人類對話，通過圖靈測試。自1966年來人類從未停止過對聊天機器人的探索。現如今，蘋果語音助手Siri，微軟的小冰、小娜、Rinna、Tay、Zo、Ruk kkuh
2020-04-14 20:47:53
3
原创 百篇最值得一讀的“認知圖譜”經典論文
當你站在人臉識別門禁閘口，掃臉，綠燈亮通過，就可以任意進出宿舍樓、圖書館、教學區等各種校內場所，你也許會想：機器認識我嗎？ 實際並
2020-04-14 20:47:53