這將是一篇連載。
我將在博客中梳理一下我所學到的《Numerical Optimization(數值優化)》中的知識點。
從數學上來講，優化問題就是求解函數在一定限制條件下，它的極大值或者極小值點。
不管是求極大值還是極小值，我們都可以把它轉換成求極小值的問題（在目標函數前面加一個負號），因此我們可以把優化問題用數學式子表示爲：
&space;%5Cquad&space;%5Cquad&space;subject%5Cquad&space;to%5Cbegin%7Bcases%7D&space;c_%7Bi%7D&space;=&space;0&space;&&space;%5Ctext%7B&space;if&space;%7D&space;i%5Cin&space;E&space;%5C%5C&space;c_%7Bi%7D&space;%5Cgeq&space;0&space;&&space;%5Ctext%7B&space;if&space;%7D&space;i%5Cin&space;I&space;%5Cend%7Bcases%7D "\underset{x\in \mathbb{R}^{n}}{min} \quad f(x) \quad \quad subject\quad to\begin{cases} c_{i} = 0 & \text{ if } i\in E \\ c_{i} \geq 0 & \text{ if } i\in I \end{cases}")
其中，x 是自變量，f 是目標函數，c 是約束條件。E 代表等式，I 代表不等式。
對於約束爲不等式的約束條件，我們可以在不等式上加上一個或者減去一個數使其成爲等式。那麼，優化問題就可以化解爲：
&space;%5Cquad&space;%5Cquad&space;subject%5Cquad&space;to%5Cquad&space;c_%7Bi%7D&space;=&space;0,&space;%5Cquad&space;%5Ctext%7B&space;if&space;%7D&space;i%5Cin&space;E "\underset{x\in \mathbb{R}^{n}}{min} \quad f(x) \quad \quad subject\quad&space;to\quad c_{i} = 0, \quad \text{ if } i\in E")
在解決優化問題的時候，首先要明確，我們所求的極小點並不一定是全局極小點，我們所求的的極小點只是在關於 x 的某個鄰域內的局部極小點。
只有對於凸函數，局部極小點也是全局極小點。
這裏要注意一下，這裏所說的凸函數和某些高等數學教材裏面的凸函數並不一樣，這裏的凸函數只指滿足：
*x_%7B2%7D&space;%5Cright&space;)%5Cleqslant&space;%5Calpha&space;*&space;f%5Cleft&space;(&space;x_%7B1%7D&space;%5Cright&space;)+%5Cleft&space;(&space;1&space;-&space;%5Calpha&space;%5Cright&space;)*f%5Cleft&space;(&space;x_%7B1%7D&space;%5Cright&space;) "f\left ( \alpha * x_{1}+ \left ( 1 - \alpha \right )*x_{2} \right )\leqslant \alpha * f\left ( x_{1} \right )+\left ( 1 - \alpha \right )*f\left ( x_{1} \right )")
其中，![]( "\alpha \in \left ( 0,1 \right )")
 "\alpha \in \left ( 0,1 \right )")
在這個系列的博客中，我們對優化問題的求解就是解決函數的局部極小值點的問題。
前半段是介紹無約束的優化問題，在介紹完無約束的優化問題之後。再加上約束，繼續討論有約束的優化問題。:)
要是有什麼介紹的不對的地方，或者有什麼疑問，可以留言我們一起討論。Thanks..深鞠躬……