【最優化】梯度投影法的幾何意義

梯度投影法理論

投影矩陣

待更新（這學期課太多。下學期更新）

梯度投影法

例子

$\min\quad f(x)=x^2+y^2\\ s.t.\quad x+y≥1$
顯然當$x=y=0.5$時有最小值，且
$\nabla f(x)= \left( \begin{array}{cc} 2x_1 \\ 2x_2 \\ \end{array} \right)$這裏我們假設初始點$x^{(1)}=(3,-2)$，積極約束矩陣$A=(1 \ \ \ 1),b=(1)$

幾何意義

該例的等高面如圖所示

其中，綠點是最小值點，紅點是初始點，兩條黑線箭頭分別是負梯度方向$-\nabla f(x)$和負梯度的投影方向$d^{(1)}=-P\nabla f(x)$。這裏P是投影矩陣，且
$P=I-A^T(AA^T)^{-1}A= \left( \begin{array}{cc} 0.5 & -0.5 \\ -0.5 & 0.5 \\ \end{array} \right)$
而
$-\nabla f(x^{(1)})= \left( \begin{array}{cc} -6 \\ 4 \\ \end{array} \right)$
因此
$d^{(1)}=-P\nabla f(x)= \left( \begin{array}{cc} -5 \\ 5 \\ \end{array} \right)$
實際上，$d^{(1)}$就是約束矩陣$A$的零空間的基。換言之，如果

• $-P\nabla f(x)=0$，則當前點在約束下不存在下降方向。
• $-P\nabla f(x)=\nabla f(x)$，則當前點在約束下的下降方向就是梯度，即$\nabla f(x)$在$A$的零空間上。
• $-P\nabla f(x)≠0$，則其爲當前點在約束下的下降方向。

那麼，爲什麼是這樣呢？
因爲$A$是積極約束的矩陣，$A$的每一行都是一個向量（行向量），而$A$的零空間裏的向量與這些向量都正交，該投影矩陣又恰好是$A$的零空間投影矩陣，能夠把任何向量投影到零空間中（在此題中就是把梯度投影到零空間中）。比如，在上面的例子中，$A$的一個行向量是$(1\ \ \ \ 1)$，與其正交的向量是$\left( \begin{array}{cc} -k \\ k \\ \end{array} \right) ,k\in R$
也即下降可行方向。

不足之處

如果梯度方向在約束範圍的內部，會減速。比如在此例中如果把約束改爲$x>-1$，初始點爲$x^{(1)}=(-1,2)$時，梯度方向只需一次迭代，而梯度投影則還需要進行進一步判斷（待更新）