最優化計算入門（1）

在最優化計算入門基礎裏面，我們通過6個例子，學習如何把一個應用問題規範化，明確最優化問題變量，目標函數，約束條件等基本定義。下面我們進行一下基本回顧：
註釋：橢圓形爲目標函數的等值線，相同輪廓線上目標函數的數值相同。通過$（0，0）$可以判斷出約束條件邊界兩側“+”“-”性。

• 如圖case one所示，如果約束空間爲四邊形區域，我們想要找到的目標函數的等值線以及極值點在這個區域內，那麼我們的問題可以歸類於無約束條件極值問題。
• 如果約束空間超出四邊形區域，我們想要找到的目標函數的等值線在這個區域以外，如圖case two所示，這種情況下的極值點將會在約束條件g4邊界上。（g4 is active.）
• 如圖case three所示，這種情況下的極值點將會在約束條件g1和g2的焦點。
  (g1 and g2 are active.)

魯棒性分析

所謂“魯棒性”，是指控制系統在一定（結構，大小）的參數攝動下，維持某些性能的特性。是控制理論中的一個分支，是專門用來處理控制器設計時逼近的不確定性。

After talking about global view introduction and constraints are active or not,all the cases will be studied.Now,think about what if we want our result or solution to be robustness?

我們希望最終設計出來的系統穩定，這種穩定性既要滿足數學意義上的穩定，也要滿足物理現實條件。(那麼如何進行我們的最終結果評估呢？最簡單的一個計算是計算方差)

In order to control robustness,we shift our original constraints gi $g- \varepsilon <0$

我們在初等數學學習的時候就已經會一階導數和二階導數分析某一個函數的單調性和拐點。
$f(x)=\frac{1}{3}x^3 - 2x^2+3x +1$
$f(x)' = x^2 -4x +3=(x-3)(x-1)$
$f(x)''=2x-4$
經過數學分析，我們的一維目標函數有兩個極值點。在這裏，明確全局極值點和局部極值點的概念。我們最優化的所有方法中，一般只能保證我們找到局部極值點（
在線拋物線畫圖軟件

數值逼近

很不幸運的是現實世界裏的工程設計，我們很難通過數學建模的方式找到一個十分精確的目標函數$f$的描述，由此，目標函數的導數$f'$需要數值逼近（numerical approximation）。之後，我們將學習各種數值逼近的方法。

**NOTE

1. Newton-Raphson Iterative Method
2. Secant Method
3. Dichotomous Search Method
   (三種方法的圖片來源於網絡)

Newton-Raphson Iterative Method

$x_{k+1} = x_k - \frac{f(x_k)}{f'(x_k)}$
geeksforgeeks.

Secant Method

$x_{k+1} = x_k - \frac{f(x_k)}{\Delta} with \Delta=\frac{f(x_B)-f(x_A)}{x_B-x_A}$

Dichotomous Search Method