漫步最優化十六——優化的一般問題

一直沒有說我愛你，
一直沒有擁抱你，
道路上雖然會留下傷口，
可是隨着時間總會愈合。
也許我們終會遠離，
美好的時刻變成回憶。
但是現在的我就是忍不住思念。
——暢寶寶的傻逼哥哥

在前面的博文中，我們從解的初始估計值開始，通過一系列可以提高解的重複執行的步驟來介紹優化算法，接下來我們會用算法正式的數學描述。

我們會介紹討論全局收斂的原則，特別的會證明一個定理，這個定理給出了確保算法收斂的條件。

我們還會對優化算法收斂速度進行定量分析，尤其是會給出定量準則，可以用它們來比較不同類型算法的有效性。