原文地址:https://arxiv.org/pdf/1511.02683.pdf
這篇論文中,創新點有兩個:1.提出了一種新的激活函數Max-Feature-Map(MFM不僅能區分開噪聲數據和信息數據,而且在特徵選擇方面起着重要的作用)2提出了三種網絡(兩個小網絡+一個大網絡:Light CNN-4、Light CNN-9、Light CNN-29)。
所做的貢獻總結:
1.提出的MFM能夠使用更復雜的關係使得它有剛好的學習能力以及適用於不同的數據
2.基於MFM的CNN模型可以學習更通用的面部表情信息
3.通過有引導的預訓練可以處理更大規模有噪聲的數據
他說:有噪聲的標籤當數據規模越來越大的時候,在機器學習成爲了一個重要的問題,儘管現在又很多策略,但是仍然是一個不小的深度學習話題。
具體細節:
1.MFM的相關定義:
MFM 2/1的等式:
MFM 3/2的等式:
2.所提出的小網絡模型
這裏,只列舉其中一個小網絡,其他網絡的見文獻
3.對於傳統的所做的改變:
移除了Batch Normalization,他說,儘管BN可以很有效的加速收斂,但是當minibatch過小或者測試用例與訓練用例相關性不大的時候,批處理數據將會變少,於是乎就不需要BN了
最後用全連接層代替了平均化pooling層,他說,在他們的實驗中,輸入的圖像都是對齊的(aligned),使用平均化pooling層會損壞數據
4.實驗效果對比: