弗羅貝尼烏斯範數(Frobenius norm)

原文鏈接:http://blog.sina.com.cn/s/blog_60bec5090100y1io.html

向量範數是很常見的,在很多教科書裏都能見到。矩陣範數是對向量範數的一種推廣。下面轉載一篇講解矩陣範數的文章,裏面有對弗羅貝尼烏斯範數的定義,比較適合掃盲。原文如下:

矩陣範數(matrix norm)是數學上向量範數對矩陣的一個自然推廣

目錄

矩陣範數的特性

以下 K 代表實數複數。現在考慮 K^{m \times n} 空間,亦即所有 m 行與 n 列的矩陣。

K^{m \times n} 上的矩陣範數滿足向量範數的所有特性,即若 \|A\| 是矩陣 A 的範數,那麼:

  • \|A\|\ge 0,且等號成立當且僅當 A = 0 。
  • \|\alpha A\|=|\alpha| \|A\|,對於所有 α 屬於 K 和所有矩陣 A 屬於 K^{m \times n} 成立。
  • \|A+B\| \le \|A\|+\|B\|,對於所有矩陣 A 和 B 屬於 K^{m \times n}.

此外,一些定義在nn矩陣上的矩陣範數(但並非所有這類的範數)滿足一個或多個以下與“矩陣比純粹一個向量有更多東西的事實”有關的條件:

一個滿足第一個附加特性的矩陣範數被稱爲服從乘法範數(sub-multiplicative norm)。附上矩陣範數幷包含所有 n×n 矩陣的集合,是巴拿赫代數的一個例子。

(在一些書上,術語“矩陣範數”只指服從乘法範數。)

誘導範數

K^{m}K^{n}向量範數已知(K 是實數複數),可在 m \times n 矩陣空間上按照下述原則定義相應的“誘導範數”或算子範數

\begin{align} \|A\| &= \max\{\|Ax\| <wbr>: x\in K^n \mbox{ with }\|x\|\le 1\} \\ &= \max\{\|Ax\| <wbr>: x\in K^n \mbox{ with }\|x\| = 1\} \\ &= \max\left\{\frac{\|Ax\|}{\|x\|} <wbr>: x\in K^n \mbox{ with }x\ne 0\right\}. \end{align}

若 m = n 且在定義域和值域上使用相同的範數,則誘導的算子範數是服從乘矩陣範數。

舉例說明, 與向量的 p-範數對應的算子範數是:

\left \| A \right \| _p = \max \limits _{x \ne 0} \frac{\left \| A x\right \| _p}{\left \| x\right \| _p}.

在 p = 1 且 p=\infty 的情況下,其範數可以以下方式計算:

\begin{align} & \left \| A \right \| _1 = \max \limits _{1 \leq j \leq n} \sum _{i=1} ^m | a_{ij} | \\ & \left \| A \right \| _\infty = \max \limits _{1 \leq i \leq m} \sum _{j=1} ^n | a_{ij} | . \end{align}

這些與矩陣的 Schatten p-範數不同, 也可以用 \left \| A \right \| _p . 來表示。

若滿足 p = 2(歐幾里德範數)且 m = n(方陣)此兩特殊情況時,誘導的矩陣範數就是“譜範數”。矩陣 A 的譜範數是 A 最大的奇異值半正定矩陣 A*A 的最大特徵值的平方根:

\left \| A \right \| _2=\sqrt{\lambda_{\text{max}}(A^* A)}

其中 A* 代表 A 的共軛轉置 。

任何矩陣範數滿足此不等式

\left \| A \right \| \ge \rho(A),

其中 ρ(A) 是 A 的譜半徑。事實上,可以證明 ρ(A) 是 A 的所有誘導範數的下界。

此外,我們有

\lim_{r\rarr\infty}\|A^r\|^{1/r}=\rho(A).

矩陣元範數

這些向量範數將矩陣視爲 m \times n 向量,並使用類似的向量範數。

舉例說明,使用向量的 p-範數,我們得到:

\Vert A \Vert_{p} = \Big( \sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^p \Big)^{1/p}. \,

注:不要把矩陣元 p-範數與誘導 p-範數混淆。

弗羅貝尼烏斯範數

對 p = 2,這稱爲弗羅貝尼烏斯範數(Frobenius norm)或希爾伯特-施密特範數(Hilbert–Schmidt norm),不過後面這個術語通常只用於希爾伯特空間。這個範數可用不同的方式定義:

\|A\|_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2}=\sqrt{\operatorname{trace}(A^{{}^*} A)}=\sqrt{\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}^2}

這裏 A* 表示 A 的共軛轉置σ_{i}\sigma _{i}是 A 的奇異值,並使用了跡函數。弗羅貝尼烏斯範數與K^{n}}上歐幾里得範數非常類似,來自所有矩陣的空間上一個內積

弗羅貝尼烏斯範數是服從乘法的且在數值線性代數中非常有用。這個範數通常比誘導範數容易計算。

極大範數

極大範數是 p=∞ 的元素範數,

\|A\|_{max}=\max\{|a_{ij}|\}.

這個範數不服從乘法。

Schatten 範數

更多資料:Schatten範數

Schaten 範數出現於當 p-範數應用於一個矩陣的奇異值向量時。如果奇異值記做 \sigma _{i}, 則 Schatten p-範數定義爲

\|A\|_p = \Big( \sum_{i=1}^{\min\{m,\,n\}} \sigma_i^p \Big)^{1/p}. \,

這個範數與誘導、元素 p-範數使用了同樣的記號,但它們是不同的。

所有 Schatten 範數服從乘法。它們也都是酉不變的,這就是說 ||A|| = ||UAV|| 對所有矩陣 A 與所有酉矩陣 U 和 V

最常見的情形是 p = 1, 2, ∞。p = 2 得出弗羅貝尼烏斯範數,前面已經介紹過了。p = ∞ 得出譜範數,這是由向量 2-範數誘導的矩陣範數(見下)。最後, p = 1 得出跡範數,定義爲

\|A\|_{\text{tr}} =\operatorname{trace}(\sqrt{A^*A})=\sum_{i=1}^{\min\{m,\,n\}} \sigma_{i}.

一致範數

一個 K^{m \times n} 上矩陣範數 \| \cdot \|_{ab} 稱爲與K^{n}上向量範數 \| \cdot \|_{a} 以及 K^{m}上向量範數 \| \cdot \|_{b} 一致,如果

\|Ax\|_b \leq \|A\|_{ab} \|x\|_a

對所有 A \in K^{m \times n}, x \in K^n。根據定義,所有誘導範數是一致範數。

範數的等價

對任何兩個向量範數 \left \| \cdot \right \|_{\alpha} and \left \| \cdot \right \|_{\beta},我們有

r\left\|A\right\|_\alpha\leq\left\|A\right\|_\beta\leq s\left\|A\right\|_\alpha

對某個正數 r 與 sK^{m \times n} 中所有矩陣 A 成立。換句話說,它們是等價的範數;它們在 K^{m \times n} 上誘導了相同的拓撲

此外,當 A\in \mathbb{R}^{n\times n},則對任何向量範數 ||·||,存在惟一一個正數 k 使得 k||A|| 是一個(服從乘法)矩陣範數。

一個矩陣範數 \left \| \cdot \right \|_{\alpha} 稱爲“極小的”,如果不存在其它矩陣範數 \left \| \cdot \right \|_{\beta} 滿足 \left \| \cdot \right \|_{\beta} ≤ \left \| \cdot \right \|_{\alpha} 。

範數等價的例子

對矩陣 A\in\mathbb{R}^{m\times n} 如下不等式成立[1][2]

  • \|A\|_2\le\|A\|_F\le\sqrt{n}\|A\|_2
  • \|A\|_{\text{max}} \le \|A\|_2 \le \sqrt{mn}\|A\|_{\text{max}}
  • \frac{1}{\sqrt{n}}\|A\|_\infty\le\|A\|_2\le\sqrt{m}\|A\|_\infty
  • \frac{1}{\sqrt{m}}\|A\|_1\le\|A\|_2\le\sqrt{n}\|A\|_1

這裏,||·||p 表示由向量 p-範數誘導的矩陣範數。

向量範數之間另一個有用的不等式是

\|A\|_2\le\sqrt{\|A\|_1\|A\|_\infty}.

參考資料

  1. ^ Golub, Gene; Van Loan, Charles F., Matrix Computations. 3rd, Baltimore: The Johns Hopkins University Press. 1996:  56-57, ISBN 0-8018-5413-X
  2. ^ Horn, =Roger; Johnson, Charles, Matrix Analysis, Cambridge University Press. 1985, ISBN 0-521-38632-2
  1. Douglas W. Harder, Matrix Norms and Condition Numbers [1]
  2. James W. Demmel, Applied Numerical Linear Algebra, section 1.7, published by SIAM, 1997.
  3. Carl D. Meyer, Matrix Analysis and Applied Linear Algebra, published by SIAM, 2000. [2]
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章