https://zhuanlan.zhihu.com/p/49271699
Bert是近年来NLP重大进展的集大成者. 目前绝大部分NLP任务都可以采用类似的两阶段模式直接去提升效果
Transformer是谷歌在17年做机器翻译任务的“Attention is all you need”的论文中提出的，引起了相当大的反响，很多研究已经证明了Transformer提取特征的能力是要远强于LSTM的.
Transformer在未来会逐渐替代掉RNN成为主流的NLP工具，RNN一直受困于其并行计算能力，这是因为它本身结构的序列性依赖导致的.
CNN在NLP里一直没有形成主流，CNN的最大优点是易于做并行计算，所以速度快，但是在捕获NLP的序列关系尤其是长距离特征方面天然有缺陷
https://zhuanlan.zhihu.com/p/37601161 深度学习中的注意力模型
https://jalammar.github.io/illustrated-transformer/ transformer资料