原创 句子相似度
計算句子相似度，①常用方法有基於語義和詞序相似度計算方法，②基於關係向量模型 基於語義和詞序的句子相似度計算方法簡介 定義1：給定一個句子Ti，經過漢語分詞系統分詞後，得到的所有詞W1構成的向量稱爲句子Ti的向量表示，表示爲T
2020-07-01 15:15:12
1
原创 受限波爾茨曼機概要
本文根據論文–introduction to Restricted Boltzmann Machine（中國科技論文在線），刪去了一些公式推理，作簡要概括，主要爲編程實現而總結。（具體內容請參考原文） 受限波爾茨尼機結構及相關函
2020-07-01 15:15:00
原创 DL4NLP---第三講
複習：簡單的word2vec模型 cost fuction（ 求導結果參照視頻教程）： 梯度下降 將所有參數轉換成一個列向量Θ （V爲詞彙數，v是中心詞的word vector，v’是external word vector
2020-07-01 15:15:00
原创 DL4NLP---第二講（上）
斯坦福大學深度學習與自然語言處理第二講：詞向量 | 我愛自然語言處理 第二講：簡單的詞向量表示：word2vec, Glove(Simple Word Vector representations: word2vec, G
2020-07-01 15:14:59
原创 Deep Learning for Nature Language Processing --- 第五講
Class Project 佔40%的成績比重 儘早規劃好任務和數據集 project類別： 1. 用已存的神經網絡應用在一個新的任務task上 2.開發出一個新的神經網絡結構 Class Project: Apply Exist
2020-07-01 15:14:59
原创 Deep Learning for Nature Language Processing---第四講(上)
分類的基礎知識和標記notation 採樣採集到的數據集: xi —輸入. 例如 :單詞(標號或向量vector),context windows,句子,文檔等. yi —標籤. 例如:情感,其他的單詞,命名實體(參照NER
2020-07-01 15:14:59
原创 Deep Learning by Andrew Ng --- Sparse coding
稀疏編碼介紹 稀疏編碼算法是一種無監督學習方法，它用來尋找一組“超完備”基向量來更高效地表示樣本數據。稀疏編碼算法的目的就是找到一組基向量 ϕi ，使得我們能將輸入向量 x 表示爲這些基向量的線性組合： x=∑i=1kaiϕi
2020-02-21 15:30:28
原创 Deep Learning for Nature Language Processing --- 第七講
Overview 傳統語言模型 RNNs RNN 語言模型 一些訓練時重要的策略和技巧 梯度消失和梯度爆炸的問題 雙向RNNs 其他序列問題中的RNNs Language Models 語言模型計算的是一連串詞的概率：P(w1,w
2020-02-21 15:30:28
原创 Deep Learning for Nature Language Processing --- 第六講
Overview Today: 一些有用的策略和技巧： 1.多任務學習（multi-task learning） 2.非線性函數（Nonlinearities） 3.檢查求導是否正確（gradient check） 4.Momen
2020-02-21 15:30:17
原创 DL4NLP---第一講
第一講：引言-自然語言處理與深度學習簡介(Intro to NLP and Deep Learning) 推薦閱讀材料： 線性代數相關知識點回顧：[Linear Algebra Review] 概率相關知識點回顧：[P
2020-02-21 15:30:17
原创 Spatial Pyramid Pooling in Deep Convolutional --- Spp_net
微軟亞研院2015的一篇文章，優點是能夠滿足任意大小圖像的輸入。 主要思想： （1）Spatial Pyramid Pooling Layer. 正是因爲該層，才讓Spp_net能夠實現任意圖片的輸入，並且得到固定長度的特徵向量：
2020-02-21 15:30:17
5
原创 Deep Learning for Nature Language Processing --- 第八講
Current statistical machine translation systems 源語言：法語 目標語言：英語 概率公式（利用貝葉斯定理）： 在平行語料庫（parallel corpora）上訓練翻譯模型p(f|e
2020-02-21 15:30:17
原创 Deep Learning for Nature Language Processing --- 第四講（下）
A note on matrix implementations 將J對softmax的權重W和每個word vector進行求導： 儘量使用矩陣運算（向量化），不要使用for loop。 模型訓練中有兩個開銷比較大的運算：矩陣
2020-02-21 15:30:17
原创 Batch Normalization 簡單理解
1：背景 由於在訓練神經網絡的過程中，每一層的 params是不斷更新的，由於params的更新會導致下一層輸入的分佈情況發生改變，所以這就要求我們進行權重初始化，減小學習率。這個現象就叫做internal covariate s
2020-02-21 15:30:16