08 ELMo模型（雙向LSTM模型解決詞向量多義問題）

博客配套視頻鏈接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看

配套 github 鏈接：https://github.com/nickchen121/Pre-training-language-model

配套博客鏈接：https://www.cnblogs.com/nickchen121/p/15105048.html

Word2Vec 模型

NNLM 模型（是不是在預測下一個詞，副產品是詞向量）

Word2Vec 模型：專門做詞向量

1. CBOW
2. Skip-gram


apple，蘋果，

ELMo

elmo 解決多義詞問題

ELMo（專門做詞向量，通過預訓練）

不只是訓練一個 Q 矩陣，我還可以把這個次的上下文信息融入到這個 Q 矩陣中

左邊的 LSTM 獲取 E2 的上文信息，右邊就是下文信息

x1,x2, x4,x5 --> Word2Vec x1+x2+x4+x5 ---> 預測那一個詞

獲取上下文信息後，把三層的信息進行一個疊加

E1+E2+E3 = K1 一個新的詞向量 \(\approx\) E1

E2,E3 相當於兩個上下文信息

E1+E2+E3+E4

K1 包含了第一個詞的詞向量包含單詞特徵、句法特徵、語義特徵

怎麼用

E2，E3 不同，E1+E2+E3 不同

apple --》 我吃了一個 蘋果 -- 》 [1,20,10]

apple --》我在用蘋果手機 --》[1,10,20]

LSTM 無法並行，長期依賴

Attention