最優化理論-線搜法(Line Search Methods)

分類

• 準確的線搜法：迭代次數確定。如二分法，插值法，黃金分割法，etc.
• 非準確的線搜法：在一階優化中用得較多，用於確定學習率（步長）。
  

二分法

如下圖，反覆交替確定上下界，終止條件是最終經過$k$次迭代後的上下界之間的距離小於預設的比較小的值：$(\frac{1}{2})^k \dot (x_U-x_L) \leqslant \epsilon$。黃金分割法與二分法差不多，不再是折中取點，而是以0.618取點。