1.预测与推断
预测：fhead是黑箱子
推断：fhead是具体函数
无论是用于预测，还是用于推断，更精确的仍然是在欠光滑度的模型上取得的，也许会貌似违反直觉，然而这正是其高抗光滑模型过拟合缺陷的能力所在。
2.最小二乘法
拟合(多元)线性模型的方法叫最小二乘法，它是拟合线性模型最流行的方法，其光滑度较低，但模型解释性较强。
补：
①第6章讨论的lasso回归方法，在线性模型基础上建模，但其估计系数
B1,B2,B3,...,Bp的拟合过程是不同的。lasso相较于线性拟合是一种欠光滑的建模方
式，但解释性会更强。
②第七章的GAM(广义可加模型)将线性模型推广至一般的非线性关系上，显然它们的
解释性没有线性方法佳。
3.指导学习与无指导学习
简而言之，有响应作为输出的，就是指导学习；否则，即为无指导学习。
4.回归分析问题与分类问题
将响应变量为定量的问题称为回归分析问题，将具有定性响应变量的问题定义为分类问题。
5.拟合效果检验——均方误差MSE
越光滑(High Flexibility)，训练均方误差(Training MSE)越小；
但：光滑度相对于测试均方误差(Test MSE)呈现U型(U-shape)，即存在某种程
度的光滑度，使得测试均方误差(Test MSE)最小，可以用 交叉验证 来
估计这个最小点。
过拟合：模型产生一个较小的训练均方误差，但却有一个较大的测试均方误差
6.偏差-方差权衡(The bias-variance trade-off)
期望测试均方误差(expected test MSE) ：
E(y0 - fh(x0))^2 = Var(fh(x0)) + [Bias(fh(x0))]^2 + Var(episiron)
期望测试均方误差实际上是用大量训练数据重复估计f后，又在x0处代入不同的估计所得的平均测试均方误差
由方程可知：为使期望均方误差最小，应选择一个模型，该模型使方差和偏差同时达到最小。
①If a method has high variance then small changes in the training sets
can result in large changes in fh.
②More flexible statistical methods have higher variance