機器學習中的凸和非凸優化問題

題目（145）：機器學習中的優化問題，哪些是凸優化問題，哪些是非凸優化問題？請各舉一個例子。

• 凸優化定義

• 凸優化問題

• 非凸優化問題
  
  

• 凸優化定義：公式、geometric insight

• 凸優化問題：邏輯迴歸；通過Hessian matrix的半正定性質判定；局部最優等價於全部最優

• 非凸優化問題：PCA；PCA求解方式
  
  

凸優化問題

邏輯迴歸

$L_i(\theta) = \log(1+\exp(-y_i \theta^T x_i))$

損失函數推導
logistic regression model:
$\log \frac{p}{1-p}=\theta^T x \Rightarrow p = \frac{\exp(\theta^T x)}{1+\exp(\theta^T x)}$

$\max \text{MLE} \simeq -\min \log \text{MLE}:= \min L(x,y;\theta)$

$\begin{aligned} L &= - (y \log p + (1-y) \log (1-p)) \\ &= - y \log \frac{1}{1+\exp(-\theta^T x)} - (1-y) \log \frac{1}{1+\exp(\theta^T x)}\\ &= y \log (1+\exp(-\theta^T x)) + (1-y) \log (1+\exp(\theta^T x))\\ &=\log (1+\exp(-\theta^T x \cdot y)), \end{aligned}$

where $Y \in \{0,1\}$ and $p=P(Y=1|X=x)$.

$\textcolor{red}{\text{\small 其它例子：SVM, linear regression}}$

非凸優化問題

PCA

$\min_{V V^T}L(V)= \| X-V^T V X\|_F^2$

$\textcolor{gray}{\textit{\small (minimise the reconstruction error)}}$

$\textcolor{red}{\text{\small Formulation from the perspective of maximising the variance}}$

驗證該目標爲非凸問題：檢查定義
If $V^\ast$ is the minimum, then $-V^\ast$ is also the minimum as $L(V^\ast)=L(-V^\ast)$.
$\begin{aligned} L\large(\frac{1}{2} V^\ast + \frac{1}{2} (-V^\ast) \large)=L(0)&=\|X\|_F^2 \\ &> \| X-V^{\ast T} V^\ast X\|_F^2=\frac{1}{2} L(V^\ast) + \frac{1}{2} L(-V^\ast) \end{aligned}$

求解: $\textcolor{red}{\text{\small SVD}}$

$\textcolor{red}{\text{\small 其它例子：low-rank model (e.g. matrix decomposition), deep neural network}}$

參考文獻：

1. 《百面機器學習》