自然語言學習筆記

自然語言

自然語言通常是指一種自然地隨文化演化的語言。例如,英語、漢語、日語爲自然語言的例子,這一種用法可見於自然語言處理一詞中。自然語言是人類交流和思維的主要工具。 自然語言是人類智慧的結晶,自然語言處理是人工智能中最爲困難的問題之一,而對自然語言處理的研究也是充滿魅力和挑戰的,也是各國人表達的方法其中之一。

自然語言研究的兩問題

兩大問題

自然語言的理解

自然語言的理解

NLP(自然語言處理(AI分支))

NLP (Natural Language Processing) 是人工智能(AI)的一個子領域。
自然語言是人類智慧的結晶,自然語言處理是人工智能中最爲困難的問題之一,而對自然語言處理的研究也是充滿魅力和挑戰的。
NLP研究的內容
任務和限制

理論上,NLP是一種很吸引人的人機交互方式。早期的語言處理系統如SHRDLU,當它們處於一個有限的“積木世界”,運用有限的詞彙表會話時,工作得相當好。這使得研究員們對此係統相當樂觀,然而,當把這個系統拓展到充滿了現實世界的含糊與不確定性的環境中時,他們很快喪失了信心。
由於理解(understanding)自然語言,需要關於外在世界的廣泛知識以及運用操作這些知識的能力,自然語言認知,同時也被視爲一個人工智能完備(AI-complete)的問題。同時,在自然語言處理中,"理解"的定義也變成一個主要的問題。有關理解定義問題的研究已經引發關注。

實際問題

一些NLP面臨的問題實例:
句子“我們把香蕉給猴子,因爲它們餓了”和“我們把香蕉給猴子,因爲它們熟透了”有同樣的結構。但是代詞“它們”在第一句中指的是“猴子”,在第二句中指的是“香蕉”。如果不瞭解猴子和香蕉的屬性,無法區分。

主要範疇

文本朗讀(Text to speech)/語音合成(Speech synthesis)
語音識別(Speech recognition)
中文自動分詞(Chinese word segmentation)
詞性標註(Part-of-speech tagging)
句法分析(Parsing)
自然語言生成(Natural language generation)
文本分類(Text categorization)
信息檢索(Information retrieval)
信息抽取(Information extraction)
文字校對(Text-proofing)
問答系統(Question answering)
機器翻譯(Machine translation)
自動摘要(Automatic summarization)
文字蘊涵(Textual entailment)

研究難點

單詞的邊界界定
在口語中,詞與詞之間通常是連貫的,而界定字詞邊界通常使用的辦法是取用能讓給定的上下文最爲通順且在文法上無誤的一種最佳組合。在書寫上,漢語也沒有詞與詞之間的邊界。
詞義的消歧
許多字詞不單隻有一個意思,因而我們必須選出使句意最爲通順的解釋。
句法的模糊性
自然語言的文法通常是模棱兩可的,針對一個句子通常可能會剖析(Parse)出多棵剖析樹(Parse Tree),而我們必須要仰賴語意及前後文的資訊才能在其中選擇一棵最爲適合的剖析樹。
有瑕疵的或不規範的輸入
例如語音處理時遇到外國口音或地方口音,或者在文本的處理中處理拼寫,語法或者光學字符識別(OCR)的錯誤。
語言行爲與計劃
句子常常並不只是字面上的意思;例如,“你能把鹽遞過來嗎”,一個好的回答應當是把鹽遞過去;在大多數上下文環境中,“能”將是糟糕的回答,雖說回答“不”或者“太遠了我拿不到”也是可以接受的。再者,如果一門課程去年沒開設,對於提問“這門課程去年有多少學生沒通過?”回答“去年沒開這門課”要比回答“沒人沒通過”好。

自然語言處理

統計自然語言處理運用了推測學、機率、統計的方法來解決上述,尤其是針對容易高度模糊的長串句子,當套用實際文法進行分析產生出成千上萬筆可能性時所引發之難題。處理這些高度模糊句子所採用消歧的方法通常運用到語料庫以及馬可夫模型(Markov models)。統計自然語言處理的技術主要由同樣自人工智能下與學習行爲相關的子領域:機器學習及資料採掘所演進而成。

相關學習鏈接

https://www.bilibili.com/video/av27557638/?p=1
https://baike.baidu.com/item/nlp/25220?fr=aladdin

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章