机器学习(十):自然语言处理初级理解

什么是自然语言处理:

NLP(Natural Language Processing,自然语言处理)当中所谓的「自然」是为了与人造的语言(比如 C 语言, JAVA 等)区分开来,指自然形成的语言,即平时人们日常使用的交流的语言。「语言」则是人类区别其他动物的本质特性。在所有生物中,只有人类才具有语言能力。人类的多种智能都与语言有着密切的关系。人类的逻辑思维以语言为形式,人类的绝大部分知识也是以语言文字的形式记载和流传下来的。「处理」则指的是对自然语言的各种处理方法与运用。

nlp分类:自然语言的理解和自然语言的生成。

自然语言的理解:

  1. 词义分析
  2. 句法分析
  3. 语义分析

自然语言的生成:

  1. 文本规划:完成结构化数据中的基础内容规划。
  2. 语句规划:从结构化数据中组合语句来表达信息流。
  3. 实现:产生语法通顺的语句来表达文本。

应用的领域:

信息检索:对大规模文档进行索引。

语音识别:识别包含口语在内的自然语言的声学信号转换成符合预期的信号。

机器翻译:将一种语言翻译成另外一种语言。

智能问答:自动回答问题。

对话系统:通过多回合对话,跟用户进行聊天、回答、完成某项任务。

文本分类:将文本自动归类。

情感分析:判断某段文本的情感倾向

文本生成:根据需求自动生成文本

自动文摘:归纳,总结文本的摘要

相关的术语:

分词:词是 NLP 中能够独立活动的有意义的语言成分。即使某个中文单字也有活动的意义,但其实这些单字也是词,属於单字成词。

词性标注:给每个词语的词性进行标注,比如 跑/动词、美丽的/形容词等等。

命名实体识别:从文本中识别出具有特定类别的实体。像是识别文本中的日期,地名等等。

词义消歧:多义词判断最合理的词义。

句法分析:解析句子中各个成分的依赖关系。

指代消解:消除和解释代词「这个,他,你」等的指代问题。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章