[CS224n]NLP和深度學習入門

一 、什麼是自然語言處理(NLP)?

1.NLP是一門橫跨了計算機科學、人工智能以及語言學的學科,是人工智能的核心技術之一。目標是讓計算機處理和理解自然語言從而可以處理一些實際任務。

2.對語言層次的傳統描述:

重點放在句法分析(syntactic analysis)和語義理解(semantic interpretation)方面,簡要描述左上角的語音信號分析。

3.NLP的應用

簡單的說,拼寫檢查、關鍵字搜索時的提醒;複雜些說,使得計算機可以充分理解文檔的內容,判斷文章的受衆以及文章的感情色彩等,更復雜的,完成所有層次的語言理解任務,包括機器翻譯、對話系統、智能問答系統等。

4.人類語言的特別之處?

語言不是大量數據的堆疊,而是有指向性地被構造出來傳達信息。

語言可以用不同的連續載體(聲音、手勢等)來傳遞完全相同的信息,由不同形式的符號來映射信息,雖然普遍認爲大腦是一套完全連續運作的系統,但深度學習領域產生的一種思想是我們也可以將大腦想象成具有連續的激活模式,處理過程是從連續到符號再到連續信號的過程。

二、什麼是深度學習(Deep Learning)?

深度學習是機器學習的一個分支,強調自動學習。傳統的機器學習是人做大量的數據分析,得出特徵,然後利用計算機進行數值優化,使得特徵前的權重更合理,表現最優,90%的時間都在用於如何描述數據、總結重要特徵,只有10%的時間用於計算機的數值優化;深度學習屬於表徵學習,輸入原始信號,計算機尋找中層特徵,即多層的習得特徵。

 

如今使用的依然是80、90年代的深度學習技術,因爲以下幾個原因使得深度學習發展迅速

1.海量的數據

2.計算機計算能力的提升

3.新的模型、算法

深度學習成功的例子:語音識別和計算機視覺

三、Deep NLP=Deep Learning+NLP

詞義:深度學習和語言都是以詞義爲起點,使用一個高維向量表示一個詞,映射到高維空間使得某些詞會聚集到一起(比如國家類的詞),爲了方便人們更直觀地理解,可以使用PCA(主成分分析)或t-SNE映射到2D空間,。

詞法(Morphology):比如uninterested,將前綴、詞根、後綴這種當做一個向量,神經網絡可以將兩個向量結合成爲一個向量。

句子結構:找出句子結構,發現句法停頓處,使用神經網絡進行依存句法分析。

句子含義(語義):與傳統方法不同,一開始就使用向量表示詞,之後就可以用向量表示短語甚至句子。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章