线性规划中的对偶（Duality in linear programs）

Introduction

对偶（duality）是优化中的一个重要概念，当原问题的最小值很难求解时，我们常常将其变为对偶形式，通过求解对偶问题的最大值，从而得到原问题的最优解。我们从最简单的线性规划问题入手来介绍对偶的概念。

线性规划的下界

假设我们想要寻找一个凸优化问题的下界（lower bound），即寻找$B\leq \min_xf(x)$。
以线性规划（LP）问题为例，考虑一个简单的LP问题：
$\begin{aligned} \min_{x,y}\ x+y\\ subject\ to\quad x+y\geq 2\\ x,y\geq 0 \end{aligned}$

很明显，该问题的下界为$B=2$。
那么考虑更一般的形式，如：
$\begin{aligned} \min_{x,y}\ px+qy\\ subject\ to\quad x+y\geq 2\\ x,y\geq 0 \end{aligned}$

那么对于任意$a,b,c\geq 0$，都有$px+qy=(a+b)x+(a+c)y=(ax+ay)+bx+by\geq 2a$。
既然我们找到了该问题的下界，那么最小化该问题就可以转化为最大化该问题的下界。即原问题变为：
$\begin{aligned} \min_{a,b,c}\quad 2a\\ subject\ to\quad a+b=p\\ a+c=q\\ a,b,c\geq 0 \end{aligned}$

我们把上面的形式称为原问题（primal LP）的对偶（dual LP）。注意到对偶变量的数量等于原问题的约束条件数目（这里都为3）。

线性规划的对偶

考虑一般形式的LP问题，给定$c\in R^n, A\in R^{m\times n}, b\in R^m, G\in R^{r\times n}, h\in R^r$，
$\begin{aligned} \min_{x}\quad c^Tx\\ subject\ to\quad Ax=b\\ Gx\leq h \end{aligned}$

其对偶问题为：
$\begin{aligned} \min_{u,v}\quad &-b^Tu-h^Tv\\ subject\ to\quad &-A^Tu-G^Tv=c\\ &v\geq 0\\ \end{aligned}$

解释：对于任意$u$和$v\geq 0$，
$u^T(Ax-b)+v^T(Gx-h)\leq 0\\ \Leftrightarrow (-A^Tu-G^Tv)^Tx\geq -b^Tu-h^Tv$

所以如果令$c=-A^Tu-G^Tv$，那么我们就可以得到原问题的一个下界。

例子：最大流最小割（max flow and min cut）
给定一个图$G=(V,E)$，定义流（flow）$f_{ij}, (i,j)\in E$满足：

• $f_{ij}\geq 0, (i,j)\in E$ （所有流都是正的）
• $f_{ij}\leq c_{ij}, (i,j)\in E$ （所有流都是有限的）
• $\sum_{(i,k)\in E}f_{ik}=\sum_{(k,j)\in E}f_{kj}, k\in V\\{s,t}$ （除了始末节点外，流入某个节点的所有流等于流出该节点的所有流）

最大流问题：找到从$s$流向$t$的所有流的最大值。这是一个LP问题：
$\begin{aligned} \max_{f\in R^{|E|}}\quad &\sum_{(s,j)\in E}f_{sj}\\ subject\ to\quad &0\leq f_{ij}\leq c_{ij}\quad for\ all\ (i,j)\in E\\ &\sum_{(i,k)\in E}f_{ik}=\sum_{(k,j)\in E}f_{kj}\quad for\ all\ k\in V\backslash \{s,t\}\\ \end{aligned}$

求其对偶形式：
$\sum_{(i.j)\in E}(-a_{ij}f_{ij}+b_{ij}(f_{ij}-c_{ij}))+\sum_{k\in V\backslash\{s,t\}}x_k(\sum_{(i,k)\in E}f_{ik}-\sum_{(k,j)\in E}f_{kj})\leq 0$

$for\ any\ a_{ij},b_{ij}\geq 0, (i,j)\in E,\ and\ x_k,k\in V\backslash\{s,t\}$

重新整理可得：
$\sum_{(i,j)\in E}M_{ij}(a,b,x)f_{ij}\leq \sum_{(i,j)\in E}b_{ij}c_{ij}$

其中$M_{ij}(a,b,x)$表示所有与$f_{ij}$相乘的项。
那么对偶问题可以表示为：
$\begin{aligned} \min_{b\in R^{|E|},x\in R^{|V|}}\quad &\sum_{(i,j)\in E}b_{ij}c_{ij}\\ subject\ to\quad &b_{ij}+x_j-x_i\geq 0\quad for\ all\ (i,j)\in E\\ &b\geq 0,\ x_s=1,\ x_t=0\\ \end{aligned}$

假设对于所有$i\in V$，$x_i$只能取0或1，那么只有在$x_i=1$且$x_j=0$时，$b_{ij}=1$，否则为0。那么目标函数$\sum_{(i,j)\in E}b_{ij}c_{ij}$就是在求解有哪些路径会被切断。因此原最大流问题就变成了线性规划松弛的最小割(min cut)问题：
$\begin{aligned} \min_{b\in R^{|E|},x\in R^{|V|}}\quad &\sum_{(i,j)\in E}b_{ij}c_{ij}\\ subject\ to\quad &b_{ij}\geq x_i-x_j\\ &b_{ij}, x_i, x_j\in \{0,1\}\ for\ all\ i,j\\ \end{aligned}$

从上面的分析可以看出：
最大流的值$\leq$LP松弛的最小割问题的最优解$\leq$最小割的容量
而根据最大流最小割定理，通过一个网络的最大流的值就等于最小割的容量。即上面公式全部取等号。这种原问题和对偶问题有相同的最优值的情况称为强对偶（strong duality）。

LP对偶的另一种视角

对于LP问题的对偶形式的另一种更加通用的解释是：
对于任意$u$和$v\geq 0$，
$c^Tx\geq c^Tx+u^T(Ax-b)+v^T(Gx-h):=L(x,u,v)$

因此如果$C$表示原问题的可行域，$f^*$表示原问题的最优解，那么对于任意$u$和$v\geq 0$，
$f^*\geq \min_{x\in C}L(x,u,v)\geq \min_x L(x,u,v):=g(u,v)$

即$g(u,v)$是$f^*$的一个下界。其中，
$g(u,v)=\left\{ \begin{aligned} &-b^Tu-h^Tv &if\ c=-A^Tu-G^Tv\\ &-\infty &otherwise \end{aligned} \right.$

我们可以通过最大化$g(u,v)$来逼近原问题的最优解。