梯度下降法求解方程的極值

1.方法一：

利用梯度下降算法求解y=x^2的極值。

注意：此種方法，除了x的更新之外，還有一點需要注意，那就迭代停止的條件。可以設置一個閾值a，比較x更新前後的y的差的絕對值與閾值a的大小，即Δy與a的大小。當Δy＜=a時，停止迭代。

 

import numpy as np
def f(x):
    return x**2
def h(x):
    return 2*x

x = 2 #初始點（初始橫座標）
step = 0.8#（步長）

f_change = f(x)
f_current = f(x)
count = 0#迭代次數
while f_change>1e-10:#停止迭代的條件，差值小於10^-10的時候停止迭代

    x = x-step*h(x)#更新x
    tmp = f(x)#更新x之後的f(x)的值，用另一個變量接收
    f_change = np.abs(f_current-tmp)#x更新前後的y的差值
    f_current =tmp#將更新的f(x)傳入下一次的迭代
    count+=1#增加一次迭代次數
print('迭代了：%d次'%count,'\n''求得x爲：',x,'\n''求得y爲：',f_current)

----------------------------------------------------------------------------------------------------------------
運行結果爲：
迭代了：25次 
求得x爲： -5.686057605985963e-06 
求得y爲： 3.233125109859082e-11

 

2.

# 梯度下降求函數極值點方法（二）
# 梯度下降求y=(x-2)^2的極值點
# 原理：因爲位於極值點附近的時候導數（梯度）趨近於0，自變量的變化速度也會變小。
# 當自變量的更新前後的差值達到設定的閾值的時候，則停止迭代

#導包
import numpy as np
#原函數
def f(x):
    return x**2-4*x+4
#導數
def h(x):
    return 2*x-4

a = 16 #初始點（初始橫座標）
step = 0.1#（步長）
count =0#記錄迭代次數
deta_a = 16#a更新前後的差值（初始值設定爲起始點）
error_rate = 1e-5#給定的閾值
while deta_a>error_rate:
    a = a-step*h(a)
    deta_a = np.abs(deta_a - a)
    count+=1
y = f(a)

print('迭代次數%d'%count)
print(a)
print(y)
print('極值點爲（%f,%f）'%(a,y))

迭代次數49
2.0002497683462233
6.238422667337318e-08
極值點爲（2.000250,0.000000）

 

3.

'''
梯度下降求函數極值點方法（三）
梯度下降求y=(x-2)^2的極值點
原理：因爲位於極值點，函數的導數（梯度）=0。當函數的梯度的變化值達到設定的閾值的時候，則停止迭代
'''

#導包
import numpy as np
#原函數
def f(x):
    return x**2-4*x+4
#導數
def h(x):
    return 2*x-4

a = 16 #初始點（初始橫座標）
step = 0.1#（步長）
count =0#記錄迭代次數
deta_h = h(a)#a更新前後的差值（初始值設定爲起始點，也可以設置爲大於閾值的任意的數）
error_rate = 1e-5#給定的閾值
while deta_h>error_rate:
    b = a-step*h(a)#更新a，用新的變量接收
    deta_h = np.abs(h(b)-h(a))
    count+=1
    a = b-step*h(b)
y = f(b)

print('迭代次數%d'%count)
print(a)
print(y)
print('極值點爲（%f,%f）'%(a,y))

 

 

運行結果爲：

迭代次數31
2.0000137311600463
2.9460078820875424e-10
極值點爲（2.000014,0.000000）