原理
數據正規化(data normalization)是將數據的每個樣本(向量)變換爲單位範數的向量,各樣本之間是相互獨立的.其實際上,是對向量中的每個分量值除以正規化因子.常用的正規化因子有 L1, L2 和 Max.假設,對長度爲 n 的向量,其正規化因子 z 的計算公式,如下所示:
注意:Max 與無窮範數 不同,無窮範數 是需要先對向量的所有分量取絕對值,然後取其中的最大值;而 Max 是向量中的最大分量值,不需要取絕對值的操作.
補充:一階範數也稱爲曼哈頓距離(Manhanttan distance)或街區距離;二階範數也稱爲歐式距離(Euclidean distance).
舉例:對向量x=(x1,x2,x3,x4,x5) 分別進行正則化得到:
L1正則化:對每個元素除以L1正則因子:
L2正則化:對每個元素除以L2正則因子:
Max正則化:對每個元素除以Max正則因子:
正則化在Ridge迴歸中的應用,注意最後是二階範數的平方
實現
在 Python 庫 sklearn 中,有兩種實現方式進行數據的正規化,這兩種實現都可通過參數 norm 選擇正規化因子,可選項有 'l1', 'l2' 和 'max'.
方法一:採用 sklearn.preprocessing.Normalizer 類,其示例代碼如下:
# Use sklearn.preprocessing.Normalizer class to normalize data.
from __future__ import print_function
import numpy as np
from sklearn.preprocessing import Normalizer
x = np.array([1, 2, 3, 4], dtype='float32').reshape(1,-1)
print("Before normalization: ", x)
options = ['l1', 'l2', 'max']
for opt in options:
norm_x = Normalizer(norm=opt).fit_transform(x)
print("After %s normalization: " % opt.capitalize(), norm_x)
方法二:採用 sklearn.preprocessing.normalize 函數,其示例代碼如下:
# Use sklearn.preprocessing.normalize function to normalize data.
from __future__ import print_function
import numpy as np
from sklearn.preprocessing import normalize
x = np.array([1, 2, 3, 4], dtype='float32').reshape(1,-1)
print("Before normalization: ", x)
options = ['l1', 'l2', 'max']
for opt in options:
norm_x = normalize(x, norm=opt)
print("After %s normalization: " % opt.capitalize(), norm_x)