線性迴歸程序1

簡單的一元迴歸問題，學會編程實現迴歸模型

%%


th1=3.5;
th0=6;
%生成訓練樣本
n=100;%n是樣本數
sigma=2;
e=randn(n,1);
e=e*sigma;
x=randn(n,1);
y=th1*x+th0+e;


%用線性模型迴歸這組數據
X1=[ones(size(y)) x];
[B1,BINT1,R1,RINT1,STATS1]=regress(y,X1);
%用一元二次模型
X2=[ones(size(y)) x.^2 x];
[B2,BINT2,R2,RINT2,STATS2]=regress(y,X2);


%用一元三次模型
X3=[ones(size(y)) x.^3 x.^2 x];
[B3,BINT3,R3,RINT3,STATS3]=regress(y,X3);


%判斷是否滿足大小關係並打印
if(STATS1(1)<STATS2(1)&&STATS2(1)<STATS3(1))
    disp(['R^2: 線性 ',num2str(STATS1(1)),'  二次 ',num2str(STATS2(1)),'  三次 ',num2str(double(STATS3(1)))]);
end


%可視化
scatter(x,y,'+','p');
m=-2.5:0.05:2.5;
hold on
plot(m,m*B1(2)+B1(1),'g');
hold on
plot(m,m.^2*B2(3)+m*B2(2)+B2(1),'r');
hold on
plot(m,m.^3*B3(4)+m.^2*B3(3)+m*B3(2)+B3(1),'m');
legend('線性','二次','三次');
%%
%用模型預測並計算測試樣本的預測效果


%生成100個測試樣本
n=100;
e=randn(n,1);
e=e*sigma;
x_test=randn(n,1);
y_test=th1*x_test+th0+e;


%用訓練得到的迴歸模型預測y值
y=zeros(n,3);
y(:,1)=x_test*B1(2)+B1(1);
y(:,2)=x_test.^2*B2(3)+x_test*B2(2)+B2(1);
y(:,3)=x_test.^3*B3(4)+x_test.^2*B3(3)+x_test*B3(2)+B3(1);
%計算訓練樣本的決策係數
N=zeros(3,1);%分子
D=zeros(3,1);%分母
R=zeros(3,1);%決定係數R^2
%求y_test均值
sum=0;
for i=1:n
    sum=sum+y_test;
end
y_avg=sum/n;


for i=1:n
    for k=1:3
        N(k)=N(k)+(y_avg(k)-y(i,k))^2;
        D(k)=D(k)+(y_avg(k)-y_test(i))^2;
    end
end
for k=1:3
    R(k)=N(k)/D(k);
end
disp(['測試數據R^2: 線性 ',num2str(R(1)),'  二次 ',num2str(R(2)),'  三次 ',num2str(double(R(3)))]);

regress使用參考http://blog.csdn.net/guzhenping/article/details/43314333