预训练概览
[1] NLP领域的预训练之风
[2] 自然语言处理中的语言模型预训练方法
transformer模型
[1] 神经机器翻译 之 谷歌 transformer 模型
[2] 注意力机制(Attention)最新综述论文及相关源码
[3] 基于注意力机制，机器之心带你理解与训练神经机器翻译系统
ELMo模型
[1] ELMo-论文解读
[2] Elmo词向量中文训练过程杂记
[3] 利用EMLo做预训练
[4] ELMo代码详解(二)
OpenAI GPT模型
[1] OpenAI GPT解析
[2] 使用Transformer与无监督学习，OpenAI提出可迁移至多种NLP任务的通用模型
[3] openai gpt
BERT模型
[1] 谷歌BERT模型深度解析
[2] BERT - 用于语言理解的深度双向预训练转换器
[3] 谷歌终于开源BERT代码