07 預訓練語言模型的下游任務改造簡介（如何使用詞向量）

博客配套視頻鏈接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看

配套 github 鏈接：https://github.com/nickchen121/Pre-training-language-model

配套博客鏈接：https://www.cnblogs.com/nickchen121/p/15105048.html

Word2Vec --》 是一個神經網絡語言模型，其次他的主要任務是做（生成詞向量，Q）


Word2Vec 模型是不是預訓練模型？（是）

一定是

什麼是預訓練？

給出兩個任務 A 和 B，任務 A 已經做出了模型 A，任務 B 無法解決（通過使用模型 A，加快任務的解決）

給你一個 NLP 裏面的任務，給一個問題 X（Ni+ck），給出一個回答 Y（handsome）

預訓練語言模型終於出來（給出一句話，我們先使用獨熱編碼（一一對應的一種表查詢），再使用Word2Vec 預訓練好的 Q 矩陣直接得到詞向量，然後進行接下來的任務）

1. 凍結：可以不改變 Q 矩陣
2. 微調：隨着任務的改變，改變 Q 矩陣