預訓練概覽
[1] NLP領域的預訓練之風
[2] 自然語言處理中的語言模型預訓練方法
transformer模型
[1] 神經機器翻譯 之 谷歌 transformer 模型
[2] 注意力機制(Attention)最新綜述論文及相關源碼
[3] 基於注意力機制，機器之心帶你理解與訓練神經機器翻譯系統
ELMo模型
[1] ELMo-論文解讀
[2] Elmo詞向量中文訓練過程雜記
[3] 利用EMLo做預訓練
[4] ELMo代碼詳解(二)
OpenAI GPT模型
[1] OpenAI GPT解析
[2] 使用Transformer與無監督學習，OpenAI提出可遷移至多種NLP任務的通用模型
[3] openai gpt
BERT模型
[1] 谷歌BERT模型深度解析
[2] BERT - 用於語言理解的深度雙向預訓練轉換器
[3] 谷歌終於開源BERT代碼