1.預測與推斷
預測：fhead是黑箱子
推斷：fhead是具體函數
無論是用於預測，還是用於推斷，更精確的仍然是在欠光滑度的模型上取得的，也許會貌似違反直覺，然而這正是其高抗光滑模型過擬合缺陷的能力所在。
2.最小二乘法
擬合(多元)線性模型的方法叫最小二乘法，它是擬合線性模型最流行的方法，其光滑度較低，但模型解釋性較強。
補：
①第6章討論的lasso迴歸方法，在線性模型基礎上建模，但其估計係數
B1,B2,B3,...,Bp的擬合過程是不同的。lasso相較於線性擬合是一種欠光滑的建模方
式，但解釋性會更強。
②第七章的GAM(廣義可加模型)將線性模型推廣至一般的非線性關係上，顯然它們的
解釋性沒有線性方法佳。
3.指導學習與無指導學習
簡而言之，有響應作爲輸出的，就是指導學習；否則，即爲無指導學習。
4.迴歸分析問題與分類問題
將響應變量爲定量的問題稱爲迴歸分析問題，將具有定性響應變量的問題定義爲分類問題。
5.擬合效果檢驗——均方誤差MSE
越光滑(High Flexibility)，訓練均方誤差(Training MSE)越小；
但：光滑度相對於測試均方誤差(Test MSE)呈現U型(U-shape)，即存在某種程
度的光滑度，使得測試均方誤差(Test MSE)最小，可以用 交叉驗證 來
估計這個最小點。
過擬合：模型產生一個較小的訓練均方誤差，但卻有一個較大的測試均方誤差
6.偏差-方差權衡(The bias-variance trade-off)
期望測試均方誤差(expected test MSE) ：
E(y0 - fh(x0))^2 = Var(fh(x0)) + [Bias(fh(x0))]^2 + Var(episiron)
期望測試均方誤差實際上是用大量訓練數據重複估計f後，又在x0處代入不同的估計所得的平均測試均方誤差
由方程可知：爲使期望均方誤差最小，應選擇一個模型，該模型使方差和偏差同時達到最小。
①If a method has high variance then small changes in the training sets
can result in large changes in fh.
②More flexible statistical methods have higher variance