機器學習筆記(一)--歸一化與標準化與正則化

優秀文章：https://zhuanlan.zhihu.com/p/29957294

一、歸一化

       歸一化目的是將數據映射到同一個範圍，增加可比性。

二、標準化

       標準化目地是加速收斂，更快找到最優解，計算上與正態分佈標準化類似，變換在空間中的位置。

三、正則化

        正則化目的是避免過擬合，減少誤差。計算上在一般loss函數上加上正則項，有L1正則，L2正則，可以看做是損失函數的懲罰項。使用L1正則化的模型叫做Lasso迴歸，使用L2正則化的模型叫做Ridge迴歸。

        L1正則化是指權值向量中各個元素的絕對值之和。可以產生稀疏權值矩陣，換句話就是能夠得到某些權值爲0的解，可用於特徵選擇。

       L2正則化是指權值向量w中各個元素的平方和然後再求平方根。