使用內點法解決線性規劃問題

使用內點法解決線性規劃問題

1. 問題描述

這裏以一個簡單的線性函數爲例子：
$\min\ \ x+y\\ s.t.\ \ x+2y \leq 10\\ \ \ \ \ 2x+y\leq 10\\ \ \ \ \ x \geq 0\\ \ \ \ \ y \geq 0$
最終，可行域在下圖中中間那部分，結合圖像可以很容易的得到最優值爲0。但是如何要使用程序從可行域的某個起始點收斂到最優值。

2. 問題建模

線性規劃問題的一般形式爲：

$\min\ \ c^T X\\ s.t.\ \ AX \leq b$
因此，對上一部分的那個例子按照這種形式表示，設$c=\left(\begin{matrix} 1\\ 1 \end{matrix}\right), A=\left(\begin{matrix} 1 & 2\\ 2 & 1\\ -1 & 0\\ 0 & -1 \end{matrix}\right),b=\left(\begin{matrix} 1\\ 1\\ 0\\ 0 \end{matrix}\right),X=\left(\begin{matrix} x\\ y \end{matrix}\right)$，則原始問題可以表示爲線性規劃的一般形式。

使用拉格朗日方法將問題的目標與問題的約束條件放到一個函數裏面，得到下面這個函數：
$f(x)=c^TX+\sum\limits_{i=1}^{m}I(A_jX_j-b)$
其中指示函數的定義爲：
$I(x)=\left\{\begin{matrix} x, & x \leq 0\\ +\infty,& x > 0 \end{matrix}\right.$
使用該指示函數可以確保最終的最小值一定是符合函數的約束條件的，但是這種分段函數存在不可導的點。所以，使用某個可導的函數代替，在這裏使用對數函數 $-\frac{1}{t}log(-x)$，其函數圖像如下所示，其中$t$越大，則該函數越貼近左側的$x,y$座標軸。

之後，問題的形式變成了：
$f(x)=tc^TX-\sum\limits_{i=1}^{m}\log(-A_{ij}X_j+b_i)$
分別求解一階以及二階導數，對於$X$中的每個$x_k$求一階導得到 $\nabla f_{x_k}=tc_k-\sum\limits_{i=1}^{m}\frac{A_{ik}}{A_{ij}X_j-b_i}$，將一階導數向量化表示爲 $\nabla f=tc-A^{T} \frac{1}{AX-b}$，同理，二階導表示爲 $\nabla^2 f=A^T D A$， 其中 $D=\frac{1}{(Ax-b)^2}$.

在算法的開始，在可行域內選取任意一個作爲初始點，$t$的初始值設爲一個比較小的數，在迭代過程中慢慢增大$t$的值。在實際運行中發現，從點$(3,3)$開始，會逐漸收斂到$(1.58,1,58)$左右。因此，爲了進一步地收斂到最優值，在收斂到某個點後不再繼續收斂的情況下，應該繼續從該點開始，$t$重置爲一個較小的值。這樣最終可以收斂到$(0,0)$點。

代碼實現已上傳到Github，鏈接。