第一章：NLP簡介
NLP是什麼?
•NLP( Natural Language Processing ) 是 自然 語言 處理 的 簡稱,是研究人與
計算機交互的語言問題的一門學科。機器理解並解釋人類寫作與說話方式的能力。近年來,
深度學習技術在自然語言處理方面的研究和應用也取得了顯著的成果。
NLP能做什麼?
•NLP技術已經無處不在如:提問和回答、知識工程、語言生成、語音識別,語音合成,
自動分詞,句法分析,語法糾錯,關鍵詞提取,文本分類/聚類,文本自動摘要,信息檢索
(ES,Solr),信息抽取,知識圖譜,機器翻譯,人機對話,機器寫作,情感分析,文字識
別,閱讀理解,推薦系統,高考機器人等。
有沒有實現這些算法通用的步驟
• 1)論文的閱讀,最新算法的研究
• 2)算法的大概方向的評估訓和確定
• 3)練數據收集,清洗以及數據預處理
• 4)算法實現,系統設計,參數調優,模型升級
• 5)模型效果評估與部署
1)論文的閱讀,最新算法的研究
• A、頂級會議論文
• 機器學習頂級會議:NIPS, ICML, UAI, AISTATS; (期刊:JMLR, ML,Trends in ML, IEEE T-NN)
• 計算機視覺和圖像識別:ICCV, CVPR, ECCV; (期刊:IEEE T-PAMI, IJCV,
IEEE T-IP)
• 人工智能:IJCAI, AAAI; (期刊AI) ACL
• B、搜索引擎(百度學術,谷歌學術,知乎,百度、谷歌、bing)
2)算法的大概方向的評估訓和確定
• A、問題相似度評估
• B、情景相似度評估
• C、語言 是否可切換
• D、確定
3)數據收集,清洗以及數據預處理
• 數據收集:公司數據、網絡數據、公開數據集、GAN生成數據
• 清洗:數據採樣,噪聲過濾,數據生成
• 數據預處理:特徵化和數值化後轉化爲可訓練的數據
4)算法實現,系統設計,參數調優,模型升級
• 算法實現:參考資料論文
• 系統設計:軟件模塊設計架構
• 參數調優:更改網絡參數
• 模型升級:模型算法升級,錯誤樣本再訓練
5)模型效果評估與部署
• A、準確率
• B、召回率
• C、設計lib庫本地調用
• D、封裝成服務