KKT (LICQ)

H. E. Krogstad, TMA 4180 Optimeringsteori KARUSH-KUHN-TUCKER THEOREM

KKT條件在處理有約束問題的時候很有用, 但是對KKT的適用性一直不是很理解, 看了這篇講解整理一下.

基本內容

問題
$\tag{1} \min_{x \in \Omega} f(x),$
在等式約束條件:
$\tag{2} c_i(x) = 0, i \in \xi,$
及不等約束條件:
$\tag{3} c_i(x) \ge 0, i \in \mathcal{I}.$
不妨就記
$\Omega = \{x: c_i(x) = 0, i \in \xi, c_i(x)\ge 0, i \in \mathcal{I}\}.$
在不等式約束中, 即只有當我們所尋的極值點$x^*$處, $c_i(x^*)=0, i \in \mathcal{I}$稱之爲激活不等式約束(active inequality constraints), 否則爲不激活的, 我們記激活的不等式約束和等式約束爲$\mathcal{A}$.

注: 均連續可微.

對於任意一個可行點$x_0$, 令$x(t), t\ge 0$爲一連續路徑, 滿足$t\rightarrow 0, x(t) \rightarrow x_0$，定義$d$爲:
$\frac{x(t) - x_0}{\|x(t)-x_0\|} \mathop{\rightarrow } \limits_{t \rightarrow 0} \frac{d}{\|d\|}.$

有如下性質:
$\tag{8,9} \nabla c_i(x) d = 0, i \in \xi \\ \nabla c_i(x) d \ge 0, i \in \mathcal{I \cap A},$
其中, 我們假設梯度向量爲行向量.

證明:
$c_i(x(t)) - c_i(x_0) = \nabla c_i(x_0)(x(t)-x_0) + o(\|x(t)-x_0\|) = 0, i \in \xi$
兩邊同除以$\|x(t)-x_0\|$, 並令$t \rightarrow 0$即可得.
$c_i(x(t)) - c_i(x_0) = \nabla c_i(x_0)(x(t)-x_0) + o(\|x(t)-x_0\|) = c_i(x(t)) \ge 0, i \in \mathcal{I \cap A}$
與上面同樣的操作即可得.

我們把這些由路徑引導出來的可行方向$d$的集合記爲
$\tag{10} \mathcal{T}(x) = \{d: d \: feasible \: di rection \: out \: from \: x\}.$
而記滿足$(8, 9)$的一切$d$的集合記爲$\mathcal{F}(x)$, 顯然$\mathcal{T}(x) \subset \mathcal{F}(x)$, 且均爲錐(即$d$屬於此集合, 則$\alpha d, \alpha > 0$也屬於此集合).

LICQ 假設

點$x_0$滿足LICQ假設, 當
$\tag{14} \{\nabla c_i(x_0)\}, i \in \mathcal{A},$
是線性獨立的.
線性不獨立: 當集合中存在一個向量能夠由其他向量線性表出, 否則稱此集合線性獨立. 顯然這是比線性無關更強的一個概念.

KKT 定理

假設$x^*$是問題(1)在等式約束(2)以及不等式約束(3)的限制下的局部最小值點, 且滿足LICQ假設. 則存在$\lambda_i^*$滿足:
$\tag{17} \nabla f(x^*) = \sum_{i \in \xi \cup \mathcal{I}} \lambda_i^* \nabla c_i(x^*),$
且
$\tag{18} \begin{array}{lc} (i) & \lambda_i^* \cdot c_i(x^*) = 0, i \in \xi \cup \mathcal{I}, \\ (ii) & \lambda_i^* \ge 0, i \in \mathcal{I}. \end{array}$

KKT定理的證明

記:
$A = \left [ \begin{array}{c} \nabla c_1(x) \\ \vdots \\ \nabla c_m(x) \end{array} \right ]$
屬於$\mathcal{A}$的所有$c_i$的梯度的綜合表示,
$c(x) = [c_1(x), \ldots, c_m(x)]^T.$

引理A

引理A: 當$x \in \R^n$滿足LICQ假設, 則$\mathcal{T}(x) = \mathcal{F}(x)$.

證明:
既然$\mathcal{T}(x) \subset \mathcal{F}(x)$, 我們只需要證明$\mathcal{F}(x) \subset \mathcal{T}(x)$.

下面, $\forall d \in \mathcal{F}(x)$, 我們將構造$y(t), t \ge 0$, 爲一連續的起點爲$y(0)=x$的路徑, 且在$x$的足夠小的一個鄰域內$y(t)$滿足等式約束和不等式約束, 一旦找到這樣的$y(t)$, 證明也就完成了.

根據假設可知, dim($A$) = $m$, 則$A$的核的維數爲$dim(N(A))=n-m$, 我們從核空間中抽取一組基作爲行向量構建$Z'$, 則
$\tag{24} \left [ \begin{array}{c} A \\ Z' \end{array} \right ]$
是一個非奇異的$n\times n$的方陣.

考慮如下的非線性方程系統(顯然有解$t=0,y=x$)
$\tag{25} R(y, t) = \left [ \begin{array}{c} c(y) - tAd \\ Z'(y - x -td) \end{array} \right ] = 0.$
關於$y$的加科比行列式爲
$\tag{26} \frac{\partial R}{\partial y} |_{t=0} = \left [ \begin{array}{c} A \\ Z' \end{array} \right ],$
非奇異, 所以根據隱函數定理可知, 在$t$足夠小的時候, 存在連續可微函數$y(t)$, 且$y(0)=x$.

既然
$\tag{27} c(y)=c(x) + \nabla c(x)(y-x) + o(\|y-x\|) = A(y-x)+o(\|y-x\|),$
我們有
$\tag{28} 0=R(y(t),t) = \left [ \begin{array}{c} A \\ Z' \end{array} \right ] (y(t)-x-td) + o(\|y(t)-x\|).$

也就是說
$\tag{29} y(t)-x=td+o(\|y(t)-x\|),$
倆邊令$t \rightarrow 0$, 可知$y(t)$爲$d$的一個連續路徑.
又結合(25)
$\tag{30} c(y(t))-tAd=0,$
$\tag{31} c_i(y(t))=t\nabla c_i(x)d = \left \{ \begin{array}{ll} 0, & i \in \xi \\ \ge 0 , & i \in \mathcal{I \cap A} . \end{array} \right .$
所以對於任意的$i \in \mathcal{A}$, $y(t)$是可行路徑, 對於未激活的不等式約束, 既然$y(t)$是連續的, 當$t$足夠效地時候容易得到$c_i(y(t)) > 0, i \in \mathcal{I}, i \not \in \mathcal{A}$. 這樣便證明了, $\forall d \in \mathcal{F}(x)$, 均爲可行方向, 故$\mathcal{F}(x) =\mathcal{T}(x)$.

Farkas 引理

Farkas 引理: 令$g$和$\{a_i\}_{i=1}^m$爲$n$維行向量且
$\tag{33} \mathcal{S} = \{ d \in \mathbb{R}^n; gd<0 , a_id \ge 0, i=1, \ldots, m\},$
則$\mathcal{S} = \empty$當且僅當存在非負向量$\lambda \in \mathbb{R}^m$ 使得
$\tag{34} g = \sum_{i=1}^m \lambda_i a_i.$

證明:

$\Leftarrow$

$\forall d \in \mathcal{S}$,
$0 > gd = \sum_{i=1}^m \lambda_i a_id \ge 0,$
故$\mathcal{S} = \empty$.

$\Rightarrow$

若不存在這樣的$\lambda$, 即對於任意的$\lambda$, $g \not =\sum_{i=1}^m \lambda_i a_i$, 則$g$不能由$\{a_i\}$線性表出. 不妨假設$\{a_i\}$與$g$按序進行施密特正交化過程, 可得$\{\hat{a}_i\}$爲$\{a_i\}$的一正交向量組, $h$爲
$h = g- \sum_i \langle g,\hat{a}_i\rangle \hat{a}_i,$
則
$\langle h, a_i \rangle = 0, \\ \langle h, g \rangle = l \not = 0.$
不妨設$l<0$(否則$h=-h$), 則$h \in \mathcal{S}$, 這與$\mathcal{S} = \empty$矛盾.

證畢.

定義問題$\mathcal{P}$:
$\tag{36} gd < 0, \\ Ad \ge 0.$
定義問題$\mathcal{D}$:
$\tag{37} g = \lambda^T A, \lambda \ge 0.$

推論

推論: 要麼問題$\mathcal{P}$存在解, 要麼$\mathcal{D}$存在解, 二者不能同時成立.

KKT定理的證明

既然$x^*$是一局部極值點, 則
$\tag{38} \nabla f(x^*) d \ge 0, \forall d \in \mathcal{T} (x^*) =\mathcal{F}(x^*),$
將$\nabla f(x^*)$視作Farkas引理中的$g$, $A$即爲我們最開始定義的$A$, 則$\forall Ad \ge 0$, $d \in \mathcal{F}(x)$, 這是因爲所有等式約束$c_i(x)=0$, 都可以變成倆個不等式約束$c_i(x)\ge0, -c_i(x) \ge 0$. 這也就是說, 問題$\mathcal{P}$無解, 則$\mathcal{D}$有解, 即存在$\lambda^* \ge 0$:
$\tag{39} \nabla f(x^*) = \sum \lambda_i^* \nabla c_i(x^*), \lambda_i^* \ge 0.$
對於任意的$i \not \in \mathcal{A}$, 我們只需取$\lambda_i^*=0$, (39)依然成立, 同時原定理(18)中的(i)(ii)也同樣容易證明.