ML學習--隨記

• 備註：隨着學習的前進再進行條理化的整理。

1. 損失函數變化劇烈的原因：
   (1) 學習率選的太大；
   (2)batch_size太小；
2. 儘量保證訓練數據的分佈與測試數據的分佈一致。
3. tensorflow重要庫函數：
   (1) tf.layers，現在常用的；
   (2) tf.contrib.layers.fully_connected()，以後可能會被廢棄；
   (3) slim，1.8版本之後被放棄；
4. 衡量兩個分佈之間的差異使用交叉熵。
5. 熵的計算公式：$-\int_{-\infty}^{+\infty}PlogP\ dx$，以2爲底，單位爲bit，表示信源所有可能發生情況的平均不確定性。