NLP近幾年非常火,且發展特別快。像BERT、GPT-3、圖神經網絡、知識圖譜等技術應運而生。
我們正處在信息爆炸的時代、面對每天鋪天蓋地的網絡資源和論文、很多時候我們面臨的問題並不是缺資源,而是找準資源並高效學習。但很多時候你會發現,花費大量的時間在零零散散的內容上,但最後發現效率極低,浪費了很多寶貴的時間。爲了迎合大家學習的需求,我們這次重磅推出了《自然語言處理終身升級版》。
課程覆蓋了從經典的機器學習、文本處理技術、序列模型、深度學習、預訓練模型、知識圖譜、圖神經網絡所有必要的技術。
重點:課程會不斷更新,比如一篇新的有趣的論文出現在arxiv,我們會在1個月之內提供技術的講解和實戰。我相信這個課程將是你在NLP領域中的終身伴侶。
01 課程大綱
第一部分:機器學習基礎篇
第一章:自然語言處理概述
自然語言處理的現狀與前景
自然語言處理應用
自然語言處理經典任務
第二章:數據結構與算法基礎
時間複雜度、空間複雜度
動態規劃
貪心算法
各種排序算法
第三章:分類與邏輯迴歸
邏輯迴歸
最大似然估計
優化與梯度下降法
隨機梯度下降法
第四章:模型泛化與調參
理解過擬合、防止過擬合
L1與L2正則
交叉驗證
正則與MAP估計
第二部分:文本處理篇
第五章:文本預處理與表示
各類分詞算法
詞的標準化
拼寫糾錯、停用詞
獨熱編碼表示
tf-idf與相似度
分佈式表示與詞向量
詞向量可視化與評估
第六章:詞向量技術
獨熱編碼的優缺點
分佈式表示的優點
靜態詞向量與動態詞向量
SkipGram與CBOW
SkipGram詳解
Negative Sampling
第七章:語言模型
語言模型的作用
馬爾科夫假設
UniGram, BiGram, NGram模型
語言模型的評估
語言模型的平滑技術
第三部分:序列模型篇
第八章:隱馬爾科夫模型
HMM的應用
HMM的Inference
維特比算法
前向、後向算法
HMM的參數估計詳解
第九章:線性條件隨機場
有向圖與無向圖
生成模型與判別模型
從HMM與MEMM
MEMM中的標籤偏置
Log-Linear模型介紹
從Log-Linear到LinearCRF
LinearCRF的參數估計
第四部分:深度學習與預訓練篇
第十章:深度學習基礎
理解神經網絡
各種常見的激活函數
反向傳播算法
淺層模型與深度模型對比
深度學習中的層次表示
深度學習中的過擬合
第十一章:RNN與LSTM
從HMM到RNN模型
RNN中的梯度問題
梯度消失與LSTM
LSTM到GRU
雙向LSTM
雙向深度LSTM
第十二章:Seq2Seq模型與注意力機制
Seq2Seq模型
Greedy Decoding
Beam Search
長依賴所存在的問題
注意力機制的實現
第十三章:動態詞向量與ELMo技術
基於上下文的詞向量技術
圖像識別中的層次表示
文本領域中的層次表示
ELMo模型
ELMo的預訓練與測試
ELMo的優缺點
第十四章:自注意力機制與Transformer
LSTM模型的缺點
Transformer概述
理解自注意力機制
位置信息的編碼
理解Encoder和Decoder區別
理解Transformer的訓練與預測
Transformer的缺點
第十五章:BERT與ALBERT
自編碼介紹
Transformer Encoder
Masked語言模型
BERT模型
BERT的不同訓練方式
ALBERT
第十六章:BERT的其他變種
RoBERTa模型
SpanBERT模型
FinBERT模型
引入先驗知識
K-BERT
KG-BERT
第十七章:GPT與XLNet
Transformer Encoder回顧
GPT-1, GPT-2, GPT-3
ELMo的缺點
語言模型下同時考慮上下文
Permutation LM
雙流自注意力機制
第五部分:信息抽取與知識圖譜篇
第十八章:命名識別與實體消歧
信息抽取的應用和關鍵技術
命名實體識別
NER識別常用技術
實體統一技術
實體消歧技術
指代消解
第十九章:關係抽取
關係抽取的應用
基於規則的方法
基於監督學習的方法
Bootstrap方法
Distant Supervision方法
第二十章:句法分析
句法分析的應用
CFG介紹
從CFG到PCFG
評估語法樹
尋找最好的語法樹
CKY算法
第二十一章:依存文法分析
從語法分析到依存文法分析
依存文法分析的應用
基於圖算法的依存文法分析
基於Transition-based的依存文法分析
依存文法的應用案例
第二十二章:知識圖譜
知識圖譜的重要性
知識圖譜中的實體與關係
非結構化數據與構造知識圖譜
知識圖譜設計
圖算法的應用
第六部分:模型壓縮與圖神經網絡篇
第二十三章:模型的壓縮
模型壓縮重要性
常見的模型壓縮總覽
基於矩陣分解的壓縮技術
基於蒸餾的壓縮技術
基於貝葉斯模型的壓縮技術
模型的量化
第二十四章:基於圖的學習
圖的表示
圖與知識圖譜
關於圖的常見算法
Deepwalk和Node2vec
TransE圖嵌入算法
DSNE圖嵌入算法
第二十五章:圖神經網絡
卷積神經網絡回顧
在圖中設計卷積操作
圖中的信息傳遞
圖卷積神經網絡
圖卷積神經網絡的經典應用
第二十六章:GraphSage與GAT
從GCN到GraphSAge
注意力機制迴歸
GAT模型詳解
GAT與GCN比較
對於異構數據的處理
第二十七章:圖神經網絡的其他應用
Node Classification
Graph Classification
Link Prediction
社區挖掘
推薦系統
圖神經網絡的未來發展
課程其他的細節可以聯繫課程顧問來獲取
添加課程顧問微信
報名、課程諮詢
????????????
02 課程中的部分案例
1. 實現一個拼寫糾錯器 |
2. 從零實現Word2Vec詞向量 |
3. 利用SkipGram做推薦 |
4. 從零實現HMM模型 |
5. 基於Linear-CRF的詞性分類器實現 |
6. 從零實現深度學習反向傳播算法 |
7. 實現AI程序幫助寫程序 |
8. 實現AI程序幫助寫文章 |
9. 基於Transformer的機器翻譯 |
10. 基於KG-BERT的知識圖譜學習 |
11. 基於知識圖譜的風控系統 |
12. 基於知識圖譜的個性化教學 |
13. 利用蒸餾算法壓縮Transformer |
14. 利用GCN實現社交推薦 |
15. 基於GAT的虛假新聞檢測 |
(剩下20+個案例被摺疊,完整請諮詢...) |
03 課程中的部分項目作業
1. 豆瓣電影評分預測
涉及到的知識點:
中文分詞技術
獨熱編碼、tf-idf
分佈式表示與Word2Vec
BERT向量、句子向量
2. 智能客服問答系統
涉及到的知識點:
問答系統搭建流程
文本的向量化表示
FastText
倒排表
問答系統中的召回、排序
3. 基於Linear-CRF的醫療實體識別
涉及到的知識點:
命名實體識別
特徵工程
評估標準
過擬合
4. 基於閒聊的對話系統搭建
涉及到的知識點:
常見的對話系統技術
閒聊型對話系統框架
數據的處理技術
BERT的使用
Transformer的使用
5. 搭建基於醫療知識圖譜的問答系統
涉及到的知識點:
醫療專業詞彙的使用
獲取問句的意圖
問句的解釋、提取關鍵實體
轉化爲查詢語句
6. 搭建基於醫療知識圖譜的問答系統
涉及到的知識點:
文本摘要生成介紹
關鍵詞提取技術
圖神經網絡的摘要生成
基於生成式的摘要提取技術
文本摘要質量的評估
04 課程中帶讀的部分論文
主題 |
論文名稱 |
機器學習 |
XGBoost: A Scalable Tree Boosting System |
機器學習 |
Regularization and Variable Selection via the Elastic Net |
詞向量 | Evaluation methods for unsupervised word embeddings |
詞向量 | Evaluation methods for unsupervised word embeddings |
詞向量 | GloVe: Global Vectors for Word Representation |
詞向量 | Deep Contexualized Word Representations |
詞向量 |
Attention is All You Need |
詞向量 |
BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding |
詞向量 | XLNet: Generalized Autoregressive Pretraining for Language Understanding |
詞向量 |
KG-BERT: BERT for Knowledge Graph Completion |
詞向量 |
Language Models are Few-shot Learners |
圖學習 | Semi-supervised Classification with Graph Convolutional Networks |
圖學習 | Graph Attention Networks |
圖學習 | GraphSAGE: Inductive Representation Learning on Large Graphs |
圖學習 | Node2Vec: Scalable Feature Learning for Networks |
被摺疊 |
其他數十篇文章...... |
05 課程適合誰?
大學生
理工科相關專業的本科/碩士/博士生,畢業後想從事NLP工作的人
希望能夠深入AI領域,爲科研或者出國做準備
希望系統性學習NLP領域的知識
在職人士
目前從事IT相關的工作,今後想做跟NLP相關的項目
目前從事AI相關的工作,希望與時俱進,加深對技術的理解
希望能夠及時掌握前沿技術
06 報名須知
1、本課程爲收費教學。
2、本期僅招收剩餘名額有限。
3、品質保障!正式開課後7天內,無條件全額退款。
4、學習本課程需要具備一定的機器學習基礎。
●●●
課程其他的細節可以聯繫課程顧問來獲取
添加課程顧問微信
報名、課程諮詢
????????????