最優化方法一：微分求極值

1 一元函數求極值

一元函數的極值通過導數判定，（前提是要有導數）。首先求解駐點，令一階導數等於0：

                                                                          

其次，用求解出來的點判斷駐點是否爲極值點，即將求解出的駐點代入二階導數判斷是否等於0：

                                                                          

二階導數不爲0即可篩選出極值點，繼而判斷極大值點極小值點：

如果，函數取得極小值點，反之取得極大值點。

2 多元函數求極值

多元函數通過微分求解極值需要用到Hession矩陣，首先介紹Hession再介紹極值點求解方法。

2.1Hession矩陣

Hession是二階偏導數矩陣，是對稱方陣，具體形式如下：（以函數爲例）

                                       

其性質爲，令

                                                                      

如果H正定，則二次型；矩陣A負定二次型。

2.2多元函數極值

多元函數的求解過程通過一元函數擴展得到。

首先令一階導數等於0，求解出駐點；在判斷Hession矩陣H，如果矩陣H正定，爲極小值點；矩陣H負定，爲極大值點。