宜言飲酒,與子偕老。琴瑟在御,莫不靜好。
更多精彩內容請關注微信公衆號 “優化與算法 ”
在數學(特別是線性代數)中,Woodbury矩陣恆等式是以Max A.Woodbury命名的,它 可以通過對原矩陣的逆進行秩k校正來計算某個矩陣的秩k校正的逆。這個公式的另一個名字是矩陣逆引理,謝爾曼-莫里森-伍德伯裏(Sherman–Morrison–Woodbury formula)公式或只是伍德伯裏公式。然而,在伍德伯裏發現之前,這一等式出現在其他文獻中。
1. 伍德伯裏矩陣恆等式
( A + U C V ) − 1 = A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 \displaystyle \left(A+UCV\right)^{-1}=A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1} ( A + U C V ) − 1 = A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1
其中A A A 、U U U 、C C C 和 V V V 都表示適形尺寸的矩陣。具體來說,A A A 的大小爲 n × n n×n n × n ,U U U 爲 n × k n×k n × k ,C C C 爲 k × k k×k k × k ,V V V 爲 k × n k×n k × n 。
2. 擴展
不失一般性,可用單位矩陣替換矩陣A和C:
( I + U V ) − 1 = I − U ( I + V U ) − 1 V \displaystyle \left(I+UV\right)^{-1}=I-U\left(I+VU\right)^{-1}V ( I + U V ) − 1 = I − U ( I + V U ) − 1 V
這裏U = A − 1 X \displaystyle U=A^{-1}X U = A − 1 X , V = C Y \displaystyle V=CY V = C Y 。
這個等式本身可以看作是兩個簡單等式的組合,即等式
( I + P ) − 1 = I − ( I + P ) − 1 P = I − P ( I + P ) − 1 \displaystyle (I+P)^{-1}=I-(I+P)^{-1}P=I-P(I+P)^{-1} ( I + P ) − 1 = I − ( I + P ) − 1 P = I − P ( I + P ) − 1
和所謂的 push-through 等式
( I + U V ) − 1 U = U ( I + V U ) − 1 \displaystyle (I+UV)^{-1}U=U(I+VU)^{-1} ( I + U V ) − 1 U = U ( I + V U ) − 1 的結合。
3. 特殊情況
當 V , U \displaystyle V,U V , U 是向量時,伍德伯裏恆等式退化爲謝爾曼-莫里森公式,在標量情況下,它(簡化版)只是:
1 1 + u v = 1 − u v 1 + u v \displaystyle {\frac {1}{1+uv}}=1-{\frac {uv}{1+uv}} 1 + u v 1 = 1 − 1 + u v u v
如果 p = q p=q p = q 和 U = V = I p U=V=I_p U = V = I p 是單位矩陣,那麼
( A + B ) − 1 = A − 1 − A − 1 ( B − 1 + A − 1 ) − 1 A − 1 \left({A}+{B}\right)^{-1} =A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1} ( A + B ) − 1 = A − 1 − A − 1 ( B − 1 + A − 1 ) − 1 A − 1
= A − 1 − A − 1 ( I + B A − 1 ) − 1 B A − 1 . ={A}^{-1}-{A}^{-1}\left({I}+{B}{A}^{-1}\right)^{-1}{B}{A}^{-1}. = A − 1 − A − 1 ( I + B A − 1 ) − 1 B A − 1 .
繼續合併上述方程最右邊的項,就可以得到一下恆等式:
( A + B ) − 1 = A − 1 − ( A + A B − 1 A ) − 1 \displaystyle \left({A}+{B}\right)^{-1}={A}^{-1}-\left({A}+{A}{B}^{-1}{A}\right)^{-1} ( A + B ) − 1 = A − 1 − ( A + A B − 1 A ) − 1
此等式的另一個有用的形式是:
( A − B ) − 1 = A − 1 + A − 1 B ( A − B ) − 1 \displaystyle \left({A}-{B}\right)^{-1}={A}^{-1}+{A}^{-1}{B}\left({A}-{B}\right)^{-1} ( A − B ) − 1 = A − 1 + A − 1 B ( A − B ) − 1
它有一個遞歸結構:
( A − B ) − 1 = ∑ k = 0 ∞ ( A − 1 B ) k A − 1 \displaystyle \left({A}-{B}\right)^{-1}=\sum _{k=0}^{\infty }\left({A}^{-1}{B}\right)^{k}{A}^{-1} ( A − B ) − 1 = k = 0 ∑ ∞ ( A − 1 B ) k A − 1
這種形式可用於微擾展開式,其中 B B B 是 A A A 的微擾。
4. 推廣
二項式逆定理(Binomial Inverse Theorem)
如果 A A A ,U U U ,B B B ,V V V 分別是 p × p p×p p × p ,p × q p×q p × q ,q × q q×q q × q ,q × p q×p q × p 的矩陣,那麼:
( A + U B V ) − 1 = A − 1 − A − 1 U B ( B + B V A − 1 U B ) − 1 B V A − 1 \displaystyle \left(A+UBV\right)^{-1}=A^{-1}-A^{-1}UB\left(B+BVA^{-1}UB\right)^{-1}BVA^{-1} ( A + U B V ) − 1 = A − 1 − A − 1 U B ( B + B V A − 1 U B ) − 1 B V A − 1
前提是 A A A 和 B + B V A − 1 U B B+BVA-1UB B + B V A − 1 U B 是非奇異的。後者的非奇異性要求 B − 1 B^{-1} B − 1 存在,因爲它等於 B ( I + V A = 1 u b ) B(I+VA=1ub) B ( I + V A = 1 u b ) ,並且後者的秩不能超過 B B B 的秩。由於 B B B 是可逆的,所以在右手邊的附加量逆的兩邊的兩個 B B B 項可以被 ( B − 1 ) − 1 (B^{-1})^{-1} ( B − 1 ) − 1 替換,從而得到原始的Woodbury恆等式:
( A + U B V ) − 1 = A − 1 − A − 1 U ( I + B V A − 1 U ) − 1 B V A − 1 \displaystyle (A+UBV)^{-1}=A^{-1}-A^{-1}U(I+BVA^{-1}U)^{-1}BVA^{-1} ( A + U B V ) − 1 = A − 1 − A − 1 U ( I + B V A − 1 U ) − 1 B V A − 1
在某些情況下,A A A 是有可能是奇異的。
5. 延伸
公式可以通過檢查 A + U C V A+UCV A + U C V 乘以伍德伯裏恆等式右側的所謂逆得到恆等式矩陣來證明:
( A + U C V ) [ A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 ] \left(A+UCV\right)\left[A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right] ( A + U C V ) [ A − 1 − A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 ]
= { I − U ( C − 1 + V A − 1 U ) − 1 V A − 1 } + { U C V A − 1 − U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } = ={}\left\{I-U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}+\left\{UCVA^{-1}-UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}={} = { I − U ( C − 1 + V A − 1 U ) − 1 V A − 1 } + { U C V A − 1 − U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } =
{ I + U C V A − 1 } − { U ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } = \left\{I+UCVA^{-1}\right\}-\left\{U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}= { I + U C V A − 1 } − { U ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 U ( C − 1 + V A − 1 U ) − 1 V A − 1 } =
+ U C V A − 1 − ( U + U C V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 = +UCVA^{-1}-\left(U+UCVA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}= + U C V A − 1 − ( U + U C V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 =
+ U C V A − 1 − U C ( C − 1 + V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 − U C V A − 1 ( A + B ) − 1 +UCVA^{-1}-UC\left(C^{-1}+VA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}-UCVA^{-1}\left({A}+{B}\right)^{-1} + U C V A − 1 − U C ( C − 1 + V A − 1 U ) ( C − 1 + V A − 1 U ) − 1 V A − 1 + U C V A − 1 − U C V A − 1 ( A + B ) − 1 = A − 1 − A − 1 ( B − 1 + A − 1 ) − 1 A − 1 =A^{-1}-A^{-1}(B^{-1}+A^{-1})^{-1}A^{-1} = A − 1 − A − 1 ( B − 1 + A − 1 ) − 1 A − 1 $
= A − 1 − A − 1 ( I + B A − 1 ) − 1 B A − 1 . ={A}^{-1}-{A}^{-1}\left({I}+{B}{A}^{-1}\right)^{-1}{B}{A}^{-1}. = A − 1 − A − 1 ( I + B A − 1 ) − 1 B A − 1 . .
參考文獻
https://en.wikipedia.org/wiki/Woodbury_matrix_identity
更多精彩內容請關注微信公衆號 “優化與算法 ”