时间过的是真快，bert已经是去年火起来的模型了。
论文"BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"
地址：https://arxiv.org/abs/1810.04805
要了解bert一定要先看看tranformer模型，就是那篇"attention is all your need"。
论文地址：https://arxiv.org/abs/1706.03762
可以看看这篇博客：http://jalammar.github.io/illustrated-transformer/ 讲的很不错。
我自己也写过一篇博客，不过写的一般。
本文的前提是了解了tranformer模型。
这样的话其实bert就比较简单了。
然后再看看这篇文章：https://zhuanlan.zhihu.com/p/49271699 就能了解bert的发展史。本文主要补充一下自己对bert的理解。
这里我把模型的细节当成一个黑盒子进行分析。
1.输入
模型的输入分三个部分：
首先输入是由两个句子concat组成的。如果只是一个句子的话，则只用一个句子的embedding。具体细节如下：
1. token embedding. 针对英文，作者使用的是wordPiece，可以理解为一个hash trick，用于减少词汇字典的大小。
其中，句首有一个分类标识符[CLS]，该标识符对应一个embedding向量，针对分类任务，该标识符，用于聚合输入的整个embedding表示，分类的时候作为输出，用于分类函数进行分类。其他任务的话，该标识符可以忽略。
因为是两个句子合并的输入，所以句子之间还有一个分隔符[SEP]，用于区分两个句子。
2. Segment embedding. 有了一个分隔符还不够，作者还单独为每个token加入一个句子的embedding，用于区分两个句子。
3. Position embedding. 位置编码，输入句子的每个token在句子中的位置都会训练出一个针对该位置的embedding。因为tranformer没有使用类似RNN的序列模型，因此针对位置的编码十分必要，不然无非就是个设计复杂的DNN模型。
2.训练方式
使用两个任务来同时预训练embedding。
任务一：Masked LM
和word2vec很像，这里提到来双向模型，即同时利用masked词汇的上文和下文来进行训练。具体怎么操作呢？
随机将一定百分比的tokens变成mask标记符，然后去预测出这些masked的tokens。这个和CBOW
就很像了，网络把最终的隐藏层向量输入softmax，预测masked词即可。因为在训练过程中，并不像CBOW一样，挖掉一个词，这里是把那个词改写成'[MASK]'。这就会出现一个问题，预训练完成后，我们要在不同任务中使用就得做fine-tuning。在微调的时候是不需要这个‘[mask]’标记的，这样就会导致前后不匹配问题。而且如何只是按这种预训练方式来进行训练模型的话，模型可能会趋向于去学习‘[mask]’这个词的内在表示。因此作者在做随机mask的时候做了如下三种操作：
80%的情况还是将句子的token变成[mask]；
10%的情况随机把该token替换成其他的token;
10%的情况不做改变，让模型有机会尽量靠近真实的情况；
这样的话，比如随机替换的这种情况，transformer encoder 不知道哪个词是被预测的，所以被迫去记住整个句子的表示。
这可以被理解为一个加强版的word2vec。
任务二：Next Sentence Prediction
任务一是从token的角度去学习，任务则是从句子的角度去学习。希望模型也能学习到句子之间的相关性。该任务是希望模型能判断语料中前后两句话是不是连着的。即选择的两个句子A和B，50%的情况B是语料中A的下一句，50%的情况A和B是随机选择的。
如图所示
整个预训练过程，输入为三种embedding向量的求和，模型行transformer encoder，目标为masked LM 和next sentence prediction 两个目标同时训练。然后用大量的语料来训练网络。
训练完成后就可以将预训练好的模型经过各种fine-tuning应用到不同的场景去了。
完。