线性回归程序1

简单的一元回归问题，学会编程实现回归模型

%%


th1=3.5;
th0=6;
%生成训练样本
n=100;%n是样本数
sigma=2;
e=randn(n,1);
e=e*sigma;
x=randn(n,1);
y=th1*x+th0+e;


%用线性模型回归这组数据
X1=[ones(size(y)) x];
[B1,BINT1,R1,RINT1,STATS1]=regress(y,X1);
%用一元二次模型
X2=[ones(size(y)) x.^2 x];
[B2,BINT2,R2,RINT2,STATS2]=regress(y,X2);


%用一元三次模型
X3=[ones(size(y)) x.^3 x.^2 x];
[B3,BINT3,R3,RINT3,STATS3]=regress(y,X3);


%判断是否满足大小关系并打印
if(STATS1(1)<STATS2(1)&&STATS2(1)<STATS3(1))
    disp(['R^2: 线性 ',num2str(STATS1(1)),'  二次 ',num2str(STATS2(1)),'  三次 ',num2str(double(STATS3(1)))]);
end


%可视化
scatter(x,y,'+','p');
m=-2.5:0.05:2.5;
hold on
plot(m,m*B1(2)+B1(1),'g');
hold on
plot(m,m.^2*B2(3)+m*B2(2)+B2(1),'r');
hold on
plot(m,m.^3*B3(4)+m.^2*B3(3)+m*B3(2)+B3(1),'m');
legend('线性','二次','三次');
%%
%用模型预测并计算测试样本的预测效果


%生成100个测试样本
n=100;
e=randn(n,1);
e=e*sigma;
x_test=randn(n,1);
y_test=th1*x_test+th0+e;


%用训练得到的回归模型预测y值
y=zeros(n,3);
y(:,1)=x_test*B1(2)+B1(1);
y(:,2)=x_test.^2*B2(3)+x_test*B2(2)+B2(1);
y(:,3)=x_test.^3*B3(4)+x_test.^2*B3(3)+x_test*B3(2)+B3(1);
%计算训练样本的决策系数
N=zeros(3,1);%分子
D=zeros(3,1);%分母
R=zeros(3,1);%决定系数R^2
%求y_test均值
sum=0;
for i=1:n
    sum=sum+y_test;
end
y_avg=sum/n;


for i=1:n
    for k=1:3
        N(k)=N(k)+(y_avg(k)-y(i,k))^2;
        D(k)=D(k)+(y_avg(k)-y_test(i))^2;
    end
end
for k=1:3
    R(k)=N(k)/D(k);
end
disp(['测试数据R^2: 线性 ',num2str(R(1)),'  二次 ',num2str(R(2)),'  三次 ',num2str(double(R(3)))]);

regress使用参考http://blog.csdn.net/guzhenping/article/details/43314333