本文抄襲自那些年的那些偏執的博客
請尊重原創。
一、迴歸(Regression)
統計學說迴歸就是一堆數據畫到一個圖像上 ，實際上，有一個真實的圖像。但是從你數據得到的圖像和真實的不一樣。通過數據越來越多，圖像就回到真實的圖像了，這就是迴歸。
這個解釋是我覺得最靠譜的解釋，合理的揭示了迴歸的含義——用觀察使得認知接近真值的過程，迴歸本源。
在我們認知（測量）這個世界的時候，我們並不能得到這個世界的全部信息（真值），只能得到這個世界展現出的可被我們觀測的部分信息。那麼，如果我們想得到世界的真值，就只能通過儘可能多的信息，從而使得我們的認識，無限接近（迴歸）真值。
其中，真值的概念是一個抽象的概念（感覺是從統計學中給出的）。真值是真實存在於這個世界的，但是卻又永遠無法真正得到。因爲，無論是受限於我們自身的認知水平，還是測量手段，都會存在偏差，導致無法得到真值。就像海森堡測不準原理一樣，永遠不可能知道一個確定的真值。再說的扯一點，真值就是我們中國人常說的道。
二、迴歸分析(Regression analysis)
所謂迴歸分析，是分析自變量與因變量之間定量的因果關係，並且用迴歸方程描述。
結合上面所說的迴歸的含義，我們可以重新對迴歸分析進行解釋。也就是，通過更多的數據（自變量和因變量），使得迴歸方程的參數更加準確，更能精確地描述自變量和因變量之間的關係。這裏的真值是什麼呢？就是自變量和因變量之間的關係。我們的認知又是什麼呢？就是迴歸方程的參數。
而這裏引入了一個新的概念——因果性。因果性關注的其實就是因和果之間的關係。那麼迴歸分析完成的就是，讓我們現有的認知無限接近因和果之間的關係。這裏面的因果是一種空間上的因果，而時間上的因果可見後面的自迴歸（AR）。
由此，我們又可以看出，真值的表現可以通過關係的形式表現。它並不是存在那裏的一個向量，而是描述向量之間的關係。就像我們的大腦一樣，我們的大腦中並沒有一個像電腦一樣的存儲介質來存儲記憶。而是，通過數量衆多的神經元，組成的繁雜的神經元網絡中的聯繫（關係）來存儲的。
三、其他迴歸
3.1 線性迴歸(Line Regression)
以線性形式描述迴歸方程。
3.2 自迴歸(Audio Regression)
因變量和自變量都爲同一個變量的迴歸方法(我一直好奇爲什麼不叫(SelfRegression，還省得跟當下大火的增強現實搞混)。