線性規劃中的對偶（Duality in linear programs）

Introduction

對偶（duality）是優化中的一個重要概念，當原問題的最小值很難求解時，我們常常將其變爲對偶形式，通過求解對偶問題的最大值，從而得到原問題的最優解。我們從最簡單的線性規劃問題入手來介紹對偶的概念。

線性規劃的下界

假設我們想要尋找一個凸優化問題的下界（lower bound），即尋找$B\leq \min_xf(x)$。
以線性規劃（LP）問題爲例，考慮一個簡單的LP問題：
$\begin{aligned} \min_{x,y}\ x+y\\ subject\ to\quad x+y\geq 2\\ x,y\geq 0 \end{aligned}$

很明顯，該問題的下界爲$B=2$。
那麼考慮更一般的形式，如：
$\begin{aligned} \min_{x,y}\ px+qy\\ subject\ to\quad x+y\geq 2\\ x,y\geq 0 \end{aligned}$

那麼對於任意$a,b,c\geq 0$，都有$px+qy=(a+b)x+(a+c)y=(ax+ay)+bx+by\geq 2a$。
既然我們找到了該問題的下界，那麼最小化該問題就可以轉化爲最大化該問題的下界。即原問題變爲：
$\begin{aligned} \min_{a,b,c}\quad 2a\\ subject\ to\quad a+b=p\\ a+c=q\\ a,b,c\geq 0 \end{aligned}$

我們把上面的形式稱爲原問題（primal LP）的對偶（dual LP）。注意到對偶變量的數量等於原問題的約束條件數目（這裏都爲3）。

線性規劃的對偶

考慮一般形式的LP問題，給定$c\in R^n, A\in R^{m\times n}, b\in R^m, G\in R^{r\times n}, h\in R^r$，
$\begin{aligned} \min_{x}\quad c^Tx\\ subject\ to\quad Ax=b\\ Gx\leq h \end{aligned}$

其對偶問題爲：
$\begin{aligned} \min_{u,v}\quad &-b^Tu-h^Tv\\ subject\ to\quad &-A^Tu-G^Tv=c\\ &v\geq 0\\ \end{aligned}$

解釋：對於任意$u$和$v\geq 0$，
$u^T(Ax-b)+v^T(Gx-h)\leq 0\\ \Leftrightarrow (-A^Tu-G^Tv)^Tx\geq -b^Tu-h^Tv$

所以如果令$c=-A^Tu-G^Tv$，那麼我們就可以得到原問題的一個下界。

例子：最大流最小割（max flow and min cut）
給定一個圖$G=(V,E)$，定義流（flow）$f_{ij}, (i,j)\in E$滿足：

• $f_{ij}\geq 0, (i,j)\in E$ （所有流都是正的）
• $f_{ij}\leq c_{ij}, (i,j)\in E$ （所有流都是有限的）
• $\sum_{(i,k)\in E}f_{ik}=\sum_{(k,j)\in E}f_{kj}, k\in V\\{s,t}$ （除了始末節點外，流入某個節點的所有流等於流出該節點的所有流）

最大流問題：找到從$s$流向$t$的所有流的最大值。這是一個LP問題：
$\begin{aligned} \max_{f\in R^{|E|}}\quad &\sum_{(s,j)\in E}f_{sj}\\ subject\ to\quad &0\leq f_{ij}\leq c_{ij}\quad for\ all\ (i,j)\in E\\ &\sum_{(i,k)\in E}f_{ik}=\sum_{(k,j)\in E}f_{kj}\quad for\ all\ k\in V\backslash \{s,t\}\\ \end{aligned}$

求其對偶形式：
$\sum_{(i.j)\in E}(-a_{ij}f_{ij}+b_{ij}(f_{ij}-c_{ij}))+\sum_{k\in V\backslash\{s,t\}}x_k(\sum_{(i,k)\in E}f_{ik}-\sum_{(k,j)\in E}f_{kj})\leq 0$

$for\ any\ a_{ij},b_{ij}\geq 0, (i,j)\in E,\ and\ x_k,k\in V\backslash\{s,t\}$

重新整理可得：
$\sum_{(i,j)\in E}M_{ij}(a,b,x)f_{ij}\leq \sum_{(i,j)\in E}b_{ij}c_{ij}$

其中$M_{ij}(a,b,x)$表示所有與$f_{ij}$相乘的項。
那麼對偶問題可以表示爲：
$\begin{aligned} \min_{b\in R^{|E|},x\in R^{|V|}}\quad &\sum_{(i,j)\in E}b_{ij}c_{ij}\\ subject\ to\quad &b_{ij}+x_j-x_i\geq 0\quad for\ all\ (i,j)\in E\\ &b\geq 0,\ x_s=1,\ x_t=0\\ \end{aligned}$

假設對於所有$i\in V$，$x_i$只能取0或1，那麼只有在$x_i=1$且$x_j=0$時，$b_{ij}=1$，否則爲0。那麼目標函數$\sum_{(i,j)\in E}b_{ij}c_{ij}$就是在求解有哪些路徑會被切斷。因此原最大流問題就變成了線性規劃鬆弛的最小割(min cut)問題：
$\begin{aligned} \min_{b\in R^{|E|},x\in R^{|V|}}\quad &\sum_{(i,j)\in E}b_{ij}c_{ij}\\ subject\ to\quad &b_{ij}\geq x_i-x_j\\ &b_{ij}, x_i, x_j\in \{0,1\}\ for\ all\ i,j\\ \end{aligned}$

從上面的分析可以看出：
最大流的值$\leq$LP鬆弛的最小割問題的最優解$\leq$最小割的容量
而根據最大流最小割定理，通過一個網絡的最大流的值就等於最小割的容量。即上面公式全部取等號。這種原問題和對偶問題有相同的最優值的情況稱爲強對偶（strong duality）。

LP對偶的另一種視角

對於LP問題的對偶形式的另一種更加通用的解釋是：
對於任意$u$和$v\geq 0$，
$c^Tx\geq c^Tx+u^T(Ax-b)+v^T(Gx-h):=L(x,u,v)$

因此如果$C$表示原問題的可行域，$f^*$表示原問題的最優解，那麼對於任意$u$和$v\geq 0$，
$f^*\geq \min_{x\in C}L(x,u,v)\geq \min_x L(x,u,v):=g(u,v)$

即$g(u,v)$是$f^*$的一個下界。其中，
$g(u,v)=\left\{ \begin{aligned} &-b^Tu-h^Tv &if\ c=-A^Tu-G^Tv\\ &-\infty &otherwise \end{aligned} \right.$

我們可以通過最大化$g(u,v)$來逼近原問題的最優解。