batch normalization与layer normalization
- batch normalization是对列进行归一化，在每个特征上进行缩放，为了解决量纲不同的问题（蕴含了大数定律的思想，当样本量足够的时候，样本分布和总体分布一致）；
- layer normalizaiton是对行进行标准化，使得每行的模为1
【思考】：
1）对于类似于NLP的词向量这种，应该使用LN，因为一个词向量就代表了这个词，并不存在量纲上的影响；而对于一些值为连续型的变量，应该是使用BN来保证这个向量上的量纲一致。
2）BN就是为了用归一化来加速模型收敛速度，但是对于离散变量，embedding就已经达到了归一化的作用！
3）样本量比较少的时候不适合用BN，因为不符合大数定律。
batch normalization与激活函数的顺序
先使用BN，再使用激活函数