1 單元線性迴歸
一個因素x一個實驗結果y之間的關係。在實際中想要測得兩者的關聯，比如打籃球身高和每場籃板數量的關係。
很明顯身高x是確定的，但是籃板數量確是隨機的。不同的人即使身高相同每年比賽的平均籃板也不一樣。我們只是
認爲y是一個隨機變量，會隨着x的不同y均值會變化。
因此這個問題就簡化成x的變化與y的均值變化的關係。設y的均值是u，那麼u（x）就是待求函數。
u（x）有時是線性的，有時是非線性的，那麼在線性的時候，他的公式必然是u（x）=ax+b。
因此我們的測量數據集是x和y的數據對，用最小均方的代價函數來表示就變成
Q=累加(y-u(x))^2
然後Q取最小值時得到的a和b即是待求參數。
————————————————————————————————————————————————
2 多元線性迴歸
假設此時的y和x1、x2有線性關係，那麼此時的函數就變成了u(x1,x2)=ax1+bx2+c
接下來的步驟和上面一樣。
————————————————————————————————————————————————
3 線性迴歸的進一步介紹
爲什麼叫回歸？
有多個隨機變量，最有興趣的就是y，其它的就是X（x1，x2，。。。，xn）。y稱爲依賴變量或響應（response）；X稱爲獨立變量或迴歸量（regressor），這樣的模型稱爲迴歸模型。
最簡單的線性迴歸模型求解其參數W（w1，w2，。。。wn）最簡單的有兩種，一種是概率模型，一種是最小二乘模型。
最後都是得到代價函數公式，得到公式後就是得到一個多輸入單輸出的函數，輸出是總的誤差，以W爲變量找到這個函數的最小值點，就是目標值。
另外一提的就是對W的先驗知識，或說是正則化項。
我覺得正則化可以這麼解釋：假設一個人之前對某一件事有某種看法，比如這個世界上沒有壞人，堅信這種看法，然後他的行爲就會導致他相信任何人，相信一個騙子以後肯定被騙，被騙的很慘以後就受到刺激，受到刺激就性情大變，以後可能就認爲這個世界上都是壞人。
但是假如說你一開始就認爲這世界上都是壞人，那麼你被騙也不會受到刺激，因爲你認爲世界就是這樣的。
那麼我們設置網絡有一個保守的估計，就是我們活在世界上肯定要接觸各種事，那麼假如你遇到一個壞事就認爲世界上沒好人肯定不對，你遇到好事就說世界上沒壞人肯定也不對。所以我們就給你思想一個拉力，我們不會因爲某一件事輕易的對世界的性質下結論。這就是正則化。
在最大後驗估計裏就設置W的分佈是高斯分佈，他的期望值是0，是中性的，直接導致的後果就是我的先驗知識認爲X的各元素是與y無關係的。
————————————————————————————————————————————————————