batch normalization與layer normalization
- batch normalization是對列進行歸一化，在每個特徵上進行縮放，爲了解決量綱不同的問題（蘊含了大數定律的思想，當樣本量足夠的時候，樣本分佈和總體分佈一致）；
- layer normalizaiton是對行進行標準化，使得每行的模爲1
【思考】：
1）對於類似於NLP的詞向量這種，應該使用LN，因爲一個詞向量就代表了這個詞，並不存在量綱上的影響；而對於一些值爲連續型的變量，應該是使用BN來保證這個向量上的量綱一致。
2）BN就是爲了用歸一化來加速模型收斂速度，但是對於離散變量，embedding就已經達到了歸一化的作用！
3）樣本量比較少的時候不適合用BN，因爲不符合大數定律。
batch normalization與激活函數的順序
先使用BN，再使用激活函數