1、目標函數很複雜，甚至可能需要採樣，而且來之不易。因此需要用少的步數算出最值
2、gloal、local（weak平/strict嚴格/isolated孤立[他的鄰域內只有這樣一個極小點，沒有震盪]）
3、我們找 的是在鄰域內的最小
4、泰勒中值定理
考慮高維
f多維到一維的映射函數，連續可微分，x是高維。且在二次連續可微下：
首先是轉置，直觀理解這裏是因爲是多維到一維的原因。
然後是tp，這裏可以看作是泰勒中值定理中餘項。
5、判斷條件
一階必要條件：梯度等於0；
必要條件：
反證法
假設最優點梯度不等於0
說是不等於0，那可以構造一個負梯度方向，然後和梯度的內積小於0，因此在這個點的鄰域內的內積也是小於0的。因此帶入這個鄰域內一個點就會發現矛盾。
二階時充分條件：由一階的證明，可知梯度等於0；同時Hessian矩陣半正定時是局部極小點。
反正法：
Hessian矩陣不是半正定
同一階的證明思路
注意，連續函數極值點都是穩定點（也叫鞍點，但是反過來不行）
充分條件：
注意，這裏只有二階的充分條件。
二階導數組成的Hessian鄰域連續，一階導數等於零，二階導數正定，則是嚴格的局部極小點。
證明，反證法
由於連續和正定，推出在x*鄰域內也是正定的
在鄰域球D中，p是球中其中任意一個方向
但是並不是所有的局部極小點都滿足這個條件，比如x^4，的hessian是半正定的。
6、結合凸
因爲很多都是凸函數，同時就算不是凸函數，在極小點附近有很好的凸性。
(1)、如果是一個凸函數，並且是局部極小點，那麼也是全局極小點；
(2)、如果是一個凸函數，並且可微的，那麼任意一個穩定點（梯度等於0，因此這種情況下可以轉化爲直接求梯度等於0）都是全局極小點。
證明，反證：
(1)、局部極小點不是全局極小點
取x到z的點（這裏lammd如果在0附近，那就靠近x）
這裏推出矛盾，即x不是局部極小點。
(2)、穩定點不是全局極小點
已知：梯度等於0（穩定點）。假設：存在z，使f(z)<f(x)
對於之前凸函數定義不等式的左邊那一項，將它變形（注意這裏的z是全局極小點），並對lammda求導（這裏首先把它看作所標量lammda的函數），可以得到這樣的一個等式
因爲f本身是x的函數（括號裏面僅是傳入的參數），因此對lammda求導首先要對x求導。
同時導數也可以看作是割線的斜率，因此
對於分子第一項，可以按照凸函數（證明的關鍵）的標準形式可知小於等於。。。因此帶入可知lammda取0-1
約掉lammda得到
按照假設時小於0的。
取lammda=0，又因爲梯度小於0.帶入可知
7、無約束優化的步驟
1)、得到初始點;
2)、算法：線搜索、信賴域
3)、終止：閾值或者更新不動