原创 斯坦福大學-自然語言處理與深度學習(CS224n) 筆記 第一課 介紹

課程概要 1、什麼是自然語言處理 2、什麼是深度學習(DL) 3、課程簡介 4、爲什麼自然語言處理很難? 5、Deep NLP=Deep learning(深度學習)+NLP 一、什麼是自然語言處理 自然語言處理是計算機科學,人工智

原创 斯坦福大學-自然語言處理與深度學習(CS224n)筆記 第十一課 NMT與RNN的進一步討論

本課概要 1、gated recurrent units比如GRUs和LSTM的再次回顧 2、機器翻譯評估 3、單詞生成問題 一、 gated recurrent units比如GRUs和LSTM的再次回顧 在RNN的後饋計算中,很容

原创 斯坦福大學-自然語言處理與深度學習(CS224n)筆記 第十課 神經機器翻譯(neural machine translation)與attention模型

本課概要 1、機器翻譯(MT) 2、帶attention的序列模型 3、序列模型解碼器(decoder) 一、機器翻譯(MT) 機器翻譯是一個十分經典的語言理解的測試,涉及語言分析(language analysis)與語言生成(la

原创 斯坦福大學-自然語言處理與深度學習(CS224n)筆記 第九課 應用於機器翻譯的RNN、GRU與LSTM

本課概要 1、一些重要的概念的回顧 2、傳統的統計機器翻譯方法 3、應用於機器翻譯的RNN 4、GRUs 5、LSTMs 6、RNNs最近的一個改進 7、總結 一、一些重要的概念的回顧 二、傳統的統計機器翻譯方法 使用平行語料

原创 斯坦福大學-自然語言處理與深度學習(CS224n) 筆記 第七課 tensorflow教程

課程概要 1、tensorflow介紹 2、代碼展示 一、tensorflow介紹 1、什麼是tensorflow? 針對數量計算的使用數據流圖流程圖開源軟件庫 由Google Brain團隊開發的機器學習的研究 Tensorflo

原创 斯坦福大學-自然語言處理與深度學習(CS224n)筆記 第八課 循環神經網絡

課程概要 1、傳統語言模型 2、循環神經網絡 3、實例(python) 4、RNN處理的一些技巧 5、針對其他任務的序列模型 6、總結 一、傳統語言模型 語言模型可以計算一些系列的單詞的概率P(w1,…,wT) 可以用來進行機器翻

原创 斯坦福大學-自然語言處理與深度學習(CS224n) 筆記 第六課 依存句法分析

課程概要 1、句法結構:成分句法、依存句法 2、依存語法 3、 Transition-based依存句法分析 4、神經網絡的依存句法分析 一、句法結構:成分句法、依存句法 參考斯坦福大學-自然語言處理入門 筆記 第十三課 統計語言句法

原创 斯坦福大學-自然語言處理入門 筆記 第二十課 問答系統(question answering)

1、什麼是問答系統 問答系統是最早的NLP任務,根據問題的依存關係,找到適合的依存關係的回答。 在現代系統中問題被分爲兩類 事實問題的回答一般都是一個簡單的詞組或者是命名實體 兩種問答系統的範式 基於信息檢索的路徑

原创 斯坦福大學-自然語言處理入門 筆記 第十五課 詞彙化(Lexicalization)的PCFGs

一、介紹 一個短語的中心詞(head word)可以很好地代表這個短語的結構和含義,在構建PCFG模型的時候,可以考慮將這部分信息納入其中。如下圖所示加入單詞信息可以幫助我們更好地選擇出合適的模型。 二、Charniak模型

原创 斯坦福大學-自然語言處理與深度學習(CS224n) 筆記 第五課 反向傳播與項目指導

課程概要 1、反向傳播的四種解釋 2、項目指導 一、反向傳播的解釋1 任務:和上一課一樣,判斷中心詞是否是一個命名實體地點,窗口定義和最後一層的函數都是一樣的 結構:含有兩個隱層 二、反向傳播的解釋2:circuits 例子來源

原创 斯坦福大學-自然語言處理入門 筆記 第十七課 信息檢索(information retrieval)

一、介紹 信息檢索(information retrieval)是從海量集合體(一般是存儲在計算機中的文本)中找到滿足信息需求(information need)的材料(一般是文檔) 信息檢索的應用領域:網頁搜索,郵件搜索,電腦內部

原创 斯坦福大學-自然語言處理入門 筆記 第十一課 最大熵模型與判別模型(2)

一、最大熵模型 1、模型介紹 基本思想:我們希望數據是均勻分佈的,除非我們有其他的限制條件讓給我們相信數據不是均勻分佈的。均勻分佈代表高熵(high entropy)。所以,最大熵模型的基本思想就是我們要找的分佈是滿足我們限制條件下

原创 斯坦福大學-自然語言處理與深度學習(CS224n) 筆記 第四課 單詞窗口分類與神經網絡

課程概要 1、分類問題背景 2、窗口分類與交叉熵導數建議 3、後饋(Backpropagation)訓練 一、分類問題背景 1、分類的一些主要符號 說到分類任務,我們一般會有一個數據集包含樣本: {xi,yi}i=1N\{x_i ,

原创 斯坦福大學-自然語言處理入門 筆記 第二十一課 問答系統(2)

一、問答系統中的總結(summarization) 目標:產生一個摘要文本包含那些對用戶重要和相關的信息 總結的應用領域:任何文檔的摘要和大綱,郵件摘要等等 根據總結的內容,我們可以把總結分爲兩類: 單文檔總結:給出一個單一文檔的

原创 斯坦福大學-自然語言處理入門 筆記 第八課 最大熵模型與判別模型

一、生成模型與判別模型 1、引言 到目前爲止,我們使用的是生成模型(generative model),但是在實際使用中我們也在大量使用判別模型(discriminative model),主要是因爲它有如下的優點: 準確性很高