NLP近幾年非常火，且發展特別快。像BERT、GPT-3、圖神經網絡、知識圖譜等技術應運而生。
我們正處在信息爆炸的時代、面對每天鋪天蓋地的網絡資源和論文、很多時候我們面臨的問題並不是缺資源，而是找準資源並高效學習。但很多時候你會發現，花費大量的時間在零零散散的內容上，但最後發現效率極低，浪費了很多寶貴的時間。爲了迎合大家學習的需求，我們這次重磅推出了《自然語言處理終身升級版》。
課程覆蓋了從經典的機器學習、文本處理技術、序列模型、深度學習、預訓練模型、知識圖譜、圖神經網絡所有必要的技術。
重點：課程會不斷更新，比如一篇新的有趣的論文出現在arxiv，我們會在1個月之內提供技術的講解和實戰。我相信這個課程將是你在NLP領域中的終身伴侶。
第一章：自然語言處理概述
自然語言處理的現狀與前景
自然語言處理應用
自然語言處理經典任務
時間複雜度、空間複雜度
動態規劃
貪心算法
各種排序算法
邏輯迴歸
最大似然估計
優化與梯度下降法
隨機梯度下降法
理解過擬合、防止過擬合
L1與L2正則
交叉驗證
正則與MAP估計
各類分詞算法
詞的標準化
拼寫糾錯、停用詞
獨熱編碼表示
tf-idf與相似度
分佈式表示與詞向量
詞向量可視化與評估
獨熱編碼的優缺點
分佈式表示的優點
靜態詞向量與動態詞向量
SkipGram與CBOW
SkipGram詳解
Negative Sampling
語言模型的作用
馬爾科夫假設
UniGram, BiGram, NGram模型
語言模型的評估
語言模型的平滑技術
HMM的應用
HMM的Inference
維特比算法
前向、後向算法
HMM的參數估計詳解
有向圖與無向圖
生成模型與判別模型
從HMM與MEMM
MEMM中的標籤偏置
Log-Linear模型介紹
從Log-Linear到LinearCRF
LinearCRF的參數估計
理解神經網絡
各種常見的激活函數
反向傳播算法
淺層模型與深度模型對比
深度學習中的層次表示
深度學習中的過擬合
從HMM到RNN模型
RNN中的梯度問題
梯度消失與LSTM
LSTM到GRU
雙向LSTM
雙向深度LSTM
Seq2Seq模型
Greedy Decoding
Beam Search
長依賴所存在的問題
注意力機制的實現
基於上下文的詞向量技術
圖像識別中的層次表示
文本領域中的層次表示
ELMo模型
ELMo的預訓練與測試
ELMo的優缺點
LSTM模型的缺點
Transformer概述
理解自注意力機制
位置信息的編碼
理解Encoder和Decoder區別
理解Transformer的訓練與預測
Transformer的缺點
自編碼介紹
Transformer Encoder
Masked語言模型
BERT模型
BERT的不同訓練方式
ALBERT
RoBERTa模型
SpanBERT模型
FinBERT模型
引入先驗知識
K-BERT
KG-BERT
Transformer Encoder回顧
GPT-1, GPT-2, GPT-3
ELMo的缺點
語言模型下同時考慮上下文
Permutation LM
雙流自注意力機制
信息抽取的應用和關鍵技術
命名實體識別
NER識別常用技術
實體統一技術
實體消歧技術
指代消解
關係抽取的應用
基於規則的方法
基於監督學習的方法
Bootstrap方法
Distant Supervision方法
句法分析的應用
CFG介紹
從CFG到PCFG
評估語法樹
尋找最好的語法樹
CKY算法
從語法分析到依存文法分析
依存文法分析的應用
基於圖算法的依存文法分析
基於Transition-based的依存文法分析
依存文法的應用案例
知識圖譜的重要性
知識圖譜中的實體與關係
非結構化數據與構造知識圖譜
知識圖譜設計
圖算法的應用
模型壓縮重要性
常見的模型壓縮總覽
基於矩陣分解的壓縮技術
基於蒸餾的壓縮技術
基於貝葉斯模型的壓縮技術
模型的量化
圖的表示
圖與知識圖譜
關於圖的常見算法
Deepwalk和Node2vec
TransE圖嵌入算法
DSNE圖嵌入算法
卷積神經網絡回顧
在圖中設計卷積操作
圖中的信息傳遞
圖卷積神經網絡
圖卷積神經網絡的經典應用
從GCN到GraphSAge
注意力機制迴歸
GAT模型詳解
GAT與GCN比較
對於異構數據的處理
Node Classification
Graph Classification
Link Prediction
社區挖掘
推薦系統
圖神經網絡的未來發展
|
|
| 2. 從零實現Word2Vec詞向量 |
| 3. 利用SkipGram做推薦 |
| 4. 從零實現HMM模型 |
| 5. 基於Linear-CRF的詞性分類器實現 |
| 6. 從零實現深度學習反向傳播算法 |
| 7. 實現AI程序幫助寫程序 |
| 8. 實現AI程序幫助寫文章 |
|
|
| 10. 基於KG-BERT的知識圖譜學習 |
| 11. 基於知識圖譜的風控系統 |
| 12. 基於知識圖譜的個性化教學 |
| 13. 利用蒸餾算法壓縮Transformer |
| 14. 利用GCN實現社交推薦 |
| 15. 基於GAT的虛假新聞檢測 |
| （剩下20+個案例被摺疊，完整請諮詢...） |
中文分詞技術
獨熱編碼、tf-idf
分佈式表示與Word2Vec
BERT向量、句子向量
問答系統搭建流程
文本的向量化表示
FastText
倒排表
問答系統中的召回、排序
命名實體識別
特徵工程
評估標準
過擬合
常見的對話系統技術
閒聊型對話系統框架
數據的處理技術
BERT的使用
Transformer的使用
醫療專業詞彙的使用
獲取問句的意圖
問句的解釋、提取關鍵實體
轉化爲查詢語句
文本摘要生成介紹
關鍵詞提取技術
圖神經網絡的摘要生成
基於生成式的摘要提取技術
文本摘要質量的評估
| 主題 |
論文名稱 |
| 機器學習 |
XGBoost: A Scalable Tree Boosting System |
| 機器學習 |
Regularization and Variable Selection via the Elastic Net |
| 詞向量 | Evaluation methods for unsupervised word embeddings |
| 詞向量 | Evaluation methods for unsupervised word embeddings |
| 詞向量 | GloVe: Global Vectors for Word Representation |
| 詞向量 | Deep Contexualized Word Representations |
| 詞向量 |
Attention is All You Need |
| 詞向量 |
BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding |
| 詞向量 | XLNet: Generalized Autoregressive Pretraining for Language Understanding |
| 詞向量 |
KG-BERT: BERT for Knowledge Graph Completion |
| 詞向量 |
Language Models are Few-shot Learners |
| 圖學習 | Semi-supervised Classification with Graph Convolutional Networks |
| 圖學習 | Graph Attention Networks |
| 圖學習 | GraphSAGE: Inductive Representation Learning on Large Graphs |
| 圖學習 | Node2Vec: Scalable Feature Learning for Networks |
| 被摺疊 |
其他數十篇文章...... |
理工科相關專業的本科/碩士/博士生，畢業後想從事NLP工作的人
希望能夠深入AI領域，爲科研或者出國做準備
希望系統性學習NLP領域的知識
目前從事IT相關的工作，今後想做跟NLP相關的項目
目前從事AI相關的工作，希望與時俱進，加深對技術的理解
希望能夠及時掌握前沿技術
本文分享自微信公衆號 - AI算法與圖像處理（AI_study）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。