coursera ML筆記 ----week2 多變量的線性迴歸

歡迎點擊作者原文地址

2017/3/10 week2
多變量的線性迴歸

hθ(x)=ΘTX=θ0+θ1x1+θ2x2+...+θnxn

cost function

J(Θ)=12m∑i=1m(y^−yi)2=12m∑i=1m(hθ(xi)−yi)2

Gradient descent: 同步變化！

θj:=θj−α∂J(Θ)∂θj=θj−1m∑i=1m(hθ(x(i))−y(i))x(i)j

其中 Θ=(θ0,θ1,θ2,...,θn),x(i)0=1

θ=θ−αδ

其中δ=1m∑mi=1(hθ(x)−y(i))x(i) 其中x(i) 也是一個向量

Feature scaling : make sure features are on a similar sacle

xi−valuerange

其實就是normalization！將特徵值normalize到統一的範圍，消除特徵的值太大或太小帶來的影響，可以把範圍統一在[0，1] or [-1，1]。NG在課程裏面提到的他一般的選取range是超過[-3，3]會縮小，小於[-1/3,1/3]的會捨棄。
Mean Normalization

xi−μiSi

其中μi 是每個特徵的均值，Si 在此處是range=max-min，以後可以換成標準差 standard deviation.該式不適用於x0

Normal Equation
solve θ 不通過偏導=0 來求解代價函數的最小值，而是直接求解θ 。 不需要選擇α ，也不需要做迭代

θ=(XTX)−1XTy

有m個observation，n個features，其中XT 是m*(n+1)的矩陣，就是我們直接看到的那個矩陣！！（注意，看到的並不是X）x(i)=(x(i)1,(x(i)1,x(i)2,...,x(i)n+1)T 其中x(i)k 表示第i個樣本的第k個特徵

不適用於特徵特別多（n特別大）的情況 >10000

pinv 和inv在matlab中是求矩陣的逆，但是pinv適用於XTX 不可求逆的情況(singular/degenerate)。
1. redundant feature(linear dependent) 特徵之間有線性關係 —>刪特徵
2. too many features (m<=n) 特徵比樣本多 —-> 刪特徵 或者 regularization