【the EM algorithm】Jensen不等式

原創

玉衡瑶光

2020-02-25 09:32

1. 凸函數

設f 是定義於爲實數的函數，如果對於所有實數x，，那麼f 是凸函數。

當x是向量時，如果Hessian Matrix（海森矩陣）H是半正定的() ，那麼f是凸函數。

如果或者，那麼稱f 是嚴格凸函數。

1.1 半正定矩陣

正定矩陣：

正定矩陣的判定：

判定定理1：對稱陣A爲正定的充分必要條件是：A的特徵值全爲正。
判定定理2：對稱陣A爲正定的充分必要條件是：A的各階順序主子式都爲正。
判定定理3：任意陣A爲正定的充分必要條件是：A合同於單位陣。

正定矩陣的性質：

1.正定矩陣一定是非奇異的。非奇異矩陣的定義：若n階矩陣A的行列式不爲零，即 |A|≠0。
2.正定矩陣的任一主子矩陣也是正定矩陣。
3.若A爲n階對稱正定矩陣，則存在唯一的主對角線元素都是正數的下三角陣L，使得A=L*L′，此分解式稱爲正定矩陣的喬列斯基(Cholesky)分解。
4.若A爲n階正定矩陣，則A爲n階可逆矩陣。

半正定矩陣：

對於半正定矩陣來說，相應的條件應改爲所有的主子式非負。順序主子式非負並不能推出矩陣是半正定的。

定義：設A是實對稱矩陣。如果對任意的實非零列矩陣有，就稱A爲半正定矩陣。

1.2 Hessian矩陣

是一個多元函數的二階偏導數構成的方正，描述了函數的局部曲率。常用於牛頓法解決優化問題。

定義

對於一個實值多元函數

，如果函數

的二階偏導數都存在，則定義

的海森矩陣爲

其中

表示對第

個變量的微分算子，

。那麼，

的海森矩陣即

多元函數極值的判定

如果實值多元函數

二階連續可導，並且在臨界點

（其中

，並且

已知）處梯度（一階導數）等於0，即

，

爲駐點。僅通過一階導數無法判斷在臨界點

處是極大值還是極小值。

記

在

點處的海森矩陣爲

。由於

在

點處連續，所以

是一個

的對稱矩陣。對於

，有如下結論：

如果H(M)是正定矩陣，則臨界點M處是一個局部的極小值。
如果H(M)是負定矩陣，則臨界點M處是一個局部的極大值。
如果H(M)是不定矩陣，則臨界點M處不是極值。

2. Jensen不等式

Jensen不等式表述如下：

     如果f是凸函數，X是隨機變量，那麼



      特別地，如果f是嚴格凸函數，那麼當且僅當，也就是說X是常量。這裏我們將簡寫爲。

      如果用圖表示會很清晰：



      圖中，實線f是凸函數，X是隨機變量，有0.5的概率是a，有0.5的概率是b。（就像擲硬幣一樣）。X的期望值就是a和b的中值了，圖中可以看到成立。

      當f是（嚴格）凹函數當且僅當-f是（嚴格）凸函數。

      Jensen不等式應用於凹函數時，不等號方向反向，也就是。