本期爲大家推薦的四篇綜述分別都是今年三月份剛剛出爐的，它們分別是：中科院百度微軟等學者最新推薦系統綜述，DeepMind的上下文嵌入綜述，浪潮集團的自動超參數優化-算法和應用綜述以及Google元老Eric Schmidt發佈的深度學習2020綜述。高效率的學習往往只需要兩樣東西，一是強烈的求知慾；二是站在巨人的肩膀上。
推薦系統
A Survey on Knowledge Graph-Based Recommender Systems
作者：
Qingyu Guo, Fuzhen Zhuang,Chuan Qin等
簡介：
有百度的地方怎麼能少得了推薦系統主題！本篇綜述也包含微軟亞洲研究院和中科院的最新成果。爲了解決信息爆炸的問題，提高用戶在各種在線應用程序中的體驗，推薦系統已經被開發並用於模擬用戶的偏好。儘管人們已經做出了許多努力來實現更加個性化的推薦，但推薦系統仍然面臨着一些挑戰，比如數據稀疏性和冷啓動。近年來，以知識圖譜作爲邊信息生成推薦引起了人們的極大興趣。這種方法不僅可以緩解上述問題，提供更準確的推薦，而且可以對推薦的項目進行解釋。本文對基於知識圖譜的推薦系統進行了系統研究。作者收集了這一領域最近發表的論文，並從兩個角度進行了總結。一方面，研究如何利用知識圖譜進行準確和可解釋推薦相關論文中的算法；另一方面，作者對這些論文中使用的數據集進行了介紹；最後提出了幾個可能的研究方向。
上下文嵌入
A Survey on Contextual Embeddings
作者：
Qi Liu, Matt J. Kusner, PhilBlunsom
簡介:
本文是由牛津大學、倫敦大學、圖靈研究所、以及DeepMind四家機構合作完成！諸如ELMo和BERT的上下文嵌入模型已經超越了像Word2Vec這樣的全局單詞表示方法，並在廣泛的自然語言處理任務上取得了突破性的提升。上下文嵌入是根據上下文的語義爲每個單詞分配一個表示，從而捕獲不同上下文中單詞的用法，並對跨語言的知識傳輸進行編碼。在這項研究中，作者整理了現有的上下文嵌入模型、跨語言的多語言預訓練、上下文嵌入在下游任務中的應用、模型壓縮和模型分析。
研究發現，基於大型語料庫的無監督分佈式訓練經常在目前的自然語言處理系統中被使用，可是這種方式通常會忽略單詞的上下文，而上下文嵌入卻突破了這個侷限，這使得其在文本分類和文本摘要等問題處理上取得了很大的進步。
超參數優化
Hyper-Parameter Optimization：A Review of Algorithms and Applications
作者：
Tong Yu，Hong Zhu
簡介：
本文由雲計算、大數據服務商，浪潮集團的核心部門：AI和高性能計算部門獨立完成。自從深度神經網絡被開發出來，它們爲人們的日常生活做出了巨大的貢獻。然而，神經網絡的設計和訓練仍然具有挑戰性、存在過程不可預測的問題，因此它們被稱爲鍊金術。爲了降低普通用戶的技術門檻，自動化的超參數優化(HPO)已成爲學術界和工業界的熱門話題。本文對HPO中最基本的內容進行了綜合描述。第一部分介紹了與模型訓練以及結構相關的關鍵超參數，並討論了它們的重要性和如何定義值的範圍。然後，研究了主要的優化算法及其適用性，包括它們的效率和準確性，特別是針對於深度學習網絡。接下來，作者回顧了HPO的主要服務和工具包，比較了它們對最先進的搜索算法的支持、與主要深度學習框架的適配性以及新模塊設計的可擴展性。本文總結了HPO在深度學習中存在的問題，優化算法的比較，以及在計算資源有限的情況下進行模型評估的突出方法。
深度學習
Survey of Deep Learning for Scientific Discovery
作者：
MaithraRaghu，Eric Schmidt
簡介：
谷歌大佬Eric Schmidt攜手康奈爾大學Maithra Raghu整理了用於科學發現的深度學習資料。廣泛的科學領域中收集的數據量在規模和複雜程度上都在急劇增加，這爲深度學習在其中的應用提供了許多機會。但在科學發現中所面臨的一個重大挑戰就是我們需要知道從哪裏開始。由於深度學習技術的廣度和多樣性，研究人員很難確定哪些科學問題最適合使用這些方法，或者哪些特定的方法組合可以達到最佳的效果。在這個研究中，作者專注於解決這個核心問題,提供了許多被廣泛使用的模型概述，介紹了諸如視覺、圖像等多種結構化數據，通過使用較少的數據和更好理解複雜模型爲中心進行評價的不同訓練方法，以及深度學習在科研探索中的一些應用案例 。本文還包括了對模型設計過程的概述、實現技巧，以及基於社區開發的大量教程、研究性總結、開源深度學習流程和預訓練模型的鏈接。作者希望通過本文加速深度學習在不同科研領域中的應用。
如何獲取資料？在微信公衆號對話框中回覆“綜述2020”即可獲得~
會議之眼plus
查計算機會議信息的一站式工具。會議截稿日期、召開信息、會議等級、您想要的信息這裏都有！還等什麼，快來體驗吧~
