線性迴歸和最小二乘

關於線性迴歸一直都知道是那麼回事，方差最小啥的。但是涉及到計算方法或者代碼啥的，也是不太瞭解，最近就做了個全面的總結，數學公式比較麻煩，所以直接上祖傳手稿
***
首先是因爲我某天遇到個這樣的問題，想知道最大似然估計和最小二乘的區別，下面的例子其實是來源知乎的一個答案，但有助理解，就寫下來了



***
這幅圖是最小二乘的矩陣解法的公式推算，這種解法是最小二乘的**逆矩陣解法**，還有一種解法是**梯度下降**，在下面也羅列了大概的優缺點，這裏和上面那個圖有個地方的轉換就是   圖上右方的h(x) = Wx



目前梯度下降的公式我還沒自己推算一遍，所以先沒放上來


***


最後這個是一元線性迴歸下的計算y = ax+b



[這裏github](https://github.com/pengjiawei/LS)有我寫的一個簡單的代碼，就是根據最後這個計算a和b的公式計算出來並且畫圖的