機器學習(十):自然語言處理初級理解

什麼是自然語言處理:

NLP(Natural Language Processing,自然語言處理)當中所謂的「自然」是爲了與人造的語言(比如 C 語言, JAVA 等)區分開來,指自然形成的語言,即平時人們日常使用的交流的語言。「語言」則是人類區別其他動物的本質特性。在所有生物中,只有人類才具有語言能力。人類的多種智能都與語言有着密切的關係。人類的邏輯思維以語言爲形式,人類的絕大部分知識也是以語言文字的形式記載和流傳下來的。「處理」則指的是對自然語言的各種處理方法與運用。

nlp分類:自然語言的理解和自然語言的生成。

自然語言的理解:

  1. 詞義分析
  2. 句法分析
  3. 語義分析

自然語言的生成:

  1. 文本規劃:完成結構化數據中的基礎內容規劃。
  2. 語句規劃:從結構化數據中組合語句來表達信息流。
  3. 實現:產生語法通順的語句來表達文本。

應用的領域:

信息檢索:對大規模文檔進行索引。

語音識別:識別包含口語在內的自然語言的聲學信號轉換成符合預期的信號。

機器翻譯:將一種語言翻譯成另外一種語言。

智能問答:自動回答問題。

對話系統:通過多回合對話,跟用戶進行聊天、回答、完成某項任務。

文本分類:將文本自動歸類。

情感分析:判斷某段文本的情感傾向

文本生成:根據需求自動生成文本

自動文摘:歸納,總結文本的摘要

相關的術語:

分詞:詞是 NLP 中能夠獨立活動的有意義的語言成分。即使某個中文單字也有活動的意義,但其實這些單字也是詞,屬於單字成詞。

詞性標註:給每個詞語的詞性進行標註,比如 跑/動詞、美麗的/形容詞等等。

命名實體識別:從文本中識別出具有特定類別的實體。像是識別文本中的日期,地名等等。

詞義消歧:多義詞判斷最合理的詞義。

句法分析:解析句子中各個成分的依賴關係。

指代消解:消除和解釋代詞「這個,他,你」等的指代問題。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章