NLP常用算法及应用领域

1. 词法分析(分词、词性、实体):

– 算法:基于Bi-LSTM-CRF算法体系,以及丰富的多领域词表

– 应用:优酷、YunOS、蚂蚁金服、推荐算法、资讯搜索等

2. 句法分析(依存句法分析、成分句法分析):

– 算法:Shift-reduce,graph-based,Bi-LSTM

– 新闻领域、商品评价、商品标题、搜索Query

– 应用:资讯搜索、评价情感分析

3. 情感分析(情感对象、情感属性、情感属性关联):

– 算法:情感词典挖掘,属性级、句子级、篇章级情感分析

– 应用:商品评价、商品问答、品牌舆情、互联网舆情

4.   句子生成(句子可控改写、句子压缩):

– 算法:Beam Search、Seq2Seq+Attention

– 应用:商品标题压缩,资讯标题改写,PUSH消息改写

5.   句子相似度(浅层相似度、语义相似度):

– 算法:Edit Distance,Word2Vec,DSSM

– 应用:问大家相似问题、商品重发检测、影视作品相似等

6.   文本分类/聚类(垃圾防控、信息聚合):

– 算法:ME,SVM,FastText

– 应用:商品类目预测、问答意图分析、文本垃圾过滤、舆情聚类、名片OCR后语义识别等

7. 文本表示(词向量、句子向量、篇章向量、Seq2Seq):

– Word2Vec、LSTM、DSSM、Seq2Seq为基础进行深入研究

8. 知识库

– 数据规模:电商同义词,通用同义词,电商上下位,通用上下位,领域词库(电商词、娱乐领域词、通用实体词),情感词库

– 挖掘算法:bootstrapping,click-through mining,word2vec,k-means,CRF

– 应用:语义归一、语义扩展、Query理解、意图理解、情感分析

9. 语料库

– 分词、词性标注数据,依存句法标注数据

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章