最速下降法 and 共軛梯度法

註明：程序中調用的函數jintuifa.m golddiv.m我在之前的筆記中已貼出

最速下降法

%最速下降法求解f = 1/2*x1*x1+9/2*x2*x2的最小值，起始點爲x0=[9 1]
%算法根據最優化方法（天津大學出版社）97頁算法3.2.1編寫
%v1.0 author: liuxi BIT

%format long
syms  x1 x2 alpha;
f = 1/2*x1*x1+9/2*x2*x2;%要最小化的函數
df=jacobian(f,[x1 x2]);%函數f的偏導
epsilon=1e-6;%0.000001k=0;
x0=[9 1];%起始點
xk=x0;
gk=subs(df,[x1 x2],xk);%起始點的梯度
gk=double(gk);
while(norm(gk)>epsilon)%迭代終止條件||gk||<=epsilon
    pk=-gk;%負梯度方向
    f_alpha=subs(f,[x1 x2],xk+alpha*pk);%關於alpha的函數
    [left right] = jintuifa(f_alpha,alpha);%進退法求下單峯區間
    [best_alpha best_f_alpha]=golddiv(f_alpha,alpha,left,right);%黃金分割法求最優步長
    xk=xk+best_alpha*pk;
    k=k+1;
    gk=subs(df,[x1 x2],xk);
    gk=double(gk);
end
best_x=xk;%最優點
best_fx=subs(f,[x1 x2],best_x);%最優值

共軛梯度法

%共軛梯度法求解f = 3/2*x1*x1+1/2*x2*x2-x1*x2-2*x1的最小值，起始點爲x0=[0 0]
%算法根據最優化方法（天津大學出版社）111頁算法3.4.2編寫
%v1.0 author: liuxi BIT

%format long
syms  x1 x2 alpha;
f = 3/2*x1*x1+1/2*x2*x2-x1*x2-2*x1;%要最小化的函數
df=jacobian(f,[x1 x2]);%函數f的偏導
epsilon=1e-6;%0.000001
k=1;
x0=[0 0];%起始點
xk=x0;
gk=subs(df,[x1 x2],xk);%起始點的梯度
gk=double(gk);
while(norm(gk)>epsilon)%迭代終止條件||gk||<=epsilon
    
    %=========begin=====這段是與梯度向量法不同的地方=================
    if k==1
        pk=-gk;%負梯度方向
    else
        beta=gk*gk'/(gk0*gk0');
        pk=-gk+beta*pk0;%pk0代表p(k-1)
    end 
     %========end======這段是與梯度向量法不同的地方=================
     
    f_alpha=subs(f,[x1 x2],xk+alpha*pk);%關於alpha的函數
    [left right] = jintuifa(f_alpha,alpha);%進退法求下單峯區間
    [best_alpha best_f_alpha]=golddiv(f_alpha,alpha,left,right);%黃金分割法求最優步長
    xk=xk+best_alpha*pk;

   %=========begin=====這段是與梯度向量法不同的地方=================
    gk0=gk;%gk0代表g(k-1)
    pk0=pk;%pk0代表p(k-1)

    % =========end=====這段是與梯度向量法不同的地方=================

    gk=subs(df,[x1 x2],xk);
    gk=double(gk);
    k=k+1;
end
best_x=xk;%最優點
best_fx=subs(f,[x1 x2],best_x);%最優值