- Feature scaling
當我們所面臨多維特徵問題的時候,我們需要保證多維數特徵都具有相近的尺度,這將有利於梯度下降算法更快地收斂。
以房價預測問題爲例,假設我們使用的兩種特徵,即房屋尺寸和房間數量,尺寸值的取值範圍是0-2000平方英尺,而房間數量的取值範圍是0-5,這就會導致梯度下降算法需要非常多次的迭代才能收斂:
爲此,我們需要對多維特徵進行放縮,以實現所有特徵的尺度都儘量在-1~1之前。因此,我們的解決方法是令:
其中,(訓練樣本中某一種特徵的平均值)是均值,(訓練樣本中某一種特徵的最大值與最小值的差)是標準差。