100-Days-Of-ML threeday(多元线性回归、特征选择)

第三天学习的是多元线性回归

一、前提(想要有一个成功的回归分析,确认这些值很重要):

1、线型:自变量和因变量的关系应该是线性的,也就是说特征值和预测值是线性相关的
2、保持误差项的方差齐性(常数方差): 也就是误差项的分散(方差)必须相等
3、多元正态分布: 多元回归假定残差符合正态分布
4、缺少多重共线性: 假设数据有极少甚至没有多重共线性。当特征(或自变量不是相互独立的时,会引发多重共线性)

二、虚(拟)变量:

在多元回归模型中,当遇到数据集是非数据类型时使用分类数据是一个非常有效的方法。分类数据值反映(事物)类别的数据,是离散数据,其数值个数(分类属性)有限(但可能很多),且值之间无须。
比如:按性别分为男女两类,在一个回归模型中,这些分类值可以用序变量来表示

三、注意:过多的变量可能会降低模型的精确度,尤其是如果存在一些对结果无关的变量、或者相反存在对其他变量造成很大影响的变量时。这里介绍一些选择合适变量的方法

1、向前选择法
2、向后选择法(也称向后剔除法、向后消元法)ji
3、向前向后法:即结合了上面说的向前选择法和向后选择法,先用向前法筛选变量,再用向后法筛选变量,当无论怎么筛选都不会发生变化时结束

四、虚拟变量陷阱:

指的是两个或两个以上变量之间高度相关的情形。简而言之,就是存在一个能被其他变量预测出的变量。例如:我们舍弃男性类别,使用女性类别女性值为0 男性为1

五、相比较一元线性回归,主要区别是多一步处理虚拟变量陷阱的区别

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章