線性迴歸算法梳理
任務1 - 線性迴歸算法梳理
1、機器學習的一些概念 有監督、無監督、泛化能力、過擬合、欠擬合(方差和偏差以及各自解決辦法)、交叉驗證
2、線性迴歸的原理
3、線性迴歸損失函數、代價函數、目標函數
4、優化方法(梯度下降法、牛頓法、擬牛頓法等)
5、線性迴歸的評估指標
6、sklearn參數詳解
一、基本概念
1監督學習：從標註數據中學習預測模型的機器學習問題。
標註數據表示輸入輸出的對應關係，預測模型對給定的輸入產生相應地輸出。監督學習的本質是學習輸入到輸出的映射的統計規律。
2無監督學習：從無標註數據中學習預測模型的機器學習問題。
無標註數據是自然得到的數據，預測模型表示數據的類別、轉換或概率。無監督學習的本質是學習數據中的統計規律或潛在結構。
3泛化能力：是指由該方法學習到的模型對未知數據的預測能力。
4過擬合：如果一味追求提高對訓練數據的預測能力，所選模型的複雜度往往會比真模型要高，這種現象稱爲過擬合。也即，過擬合指學習時選擇的模型所包含的參數過多，以至於出現這一模型對已知數據預測得很好，但對未知數據預測得很差的現象。
5欠擬合：所選模型過於簡單，對未知數據的預測能力很差的現象。
6交叉驗證：基本思想是重複地使用數據；把給定的數據進行切分，將切分出的數據集分爲訓練集和數據集，在此基礎上反覆訓練、測試以及模型選擇。
二、線性迴歸的原理
其中， x1,x2,…,xn表示變量（特徵分量），y表示因變量，θ1,θ2,…,θn表示對應變量（特徵）的權重，θ0是偏倚項（稱爲截距）。
對於參數 ，在物理上可以解釋爲：在自變量（特徵）之間相互獨立的前提下，θi 反映自變量x對因變量y的影響程度， θi越大，說明xi對結果y的影響越大。因此，我們可以通過每個自變量（特徵）前的參數，可以很直觀的看出那些特徵分量對結果的影響的大小。
三、線性迴歸損失函數、代價函數、目標函數
這個損失函數用的是的預測值與真實值之差的平方和。
線性迴歸誤差平方損失極小化與極大似然估計等價。其實在概率模型中，目標函數的原函數（或對偶函數）極小化（或極大化）與極大似然估計等價，這是個帶有普遍性的結論。比如在最大熵模型中，有對偶函數極大化與極大似然估計等價的結論。
四、優化方法(梯度下降法、牛頓法、擬牛頓法等)
梯度下降法和牛頓法來自李航老師的《統計學習方法》一書，如下圖：
五、線性迴歸的評估指標
迴歸模型的最終目標是通過函數表達式建立自變量x與結果y之間的關係，希望通過x能較爲準確地表示結果y。在實際的應用場合中，很難甚至不可能把導致y的所有變量（特徵）都找出來，並放到迴歸模型中。那麼模型中存在的x通常認爲是影響結果的最主要的變量集合（又稱爲因子，在ML中稱爲特徵集）。根據中心極限定理，把那些對結果影響較小的變量（假設獨立同分布）之和認爲服從正態分佈是合理的。
上述兩式等價，即：經過最大似然估計推導出來的待優化的目標函數與平方損失函數是等價的。
六、sklearn參數詳解
借鑑學習別人的，這個很詳細地介紹了參數：
https://blog.csdn.net/qq_41577045/article/details/79844931