矩陣論(五)——矩陣分析

1. 向量範數

向量範數： $\forall x \in V$，若非負實數$||x||$滿足
   (1) 正定性：$||x|| \ge 0，且 ||x|| = 0 \iff x = 0$
   (2) 齊次性：$||ax|| = |a|\ ||x||，a \in F$
   (3) 三角不等式：$\forall x，y \in V，都有|| x + y|| \leq ||x|| + ||y||$
則稱||x||爲向量x的範數，$[V；||.||]$爲賦範空間

1-範數： $||x||_1 = \Sigma_i |x_i|$
2-範數(向量長度，由內積所誘導的範數)： $||x||_2 = \sqrt{(x，x)} = \sqrt{x^H x} = \sqrt{\Sigma_i|x_i|^2}$
$\infty$-範數： $||x||_\infty = max|x_i|$
p-範數： $\forall p \in (1,\ +\infty)，||x||_p = \sqrt[p]{\Sigma_i |x_i|^p}，\forall x \in C^n$

例如：
若$x = (1,\ i,\ 1 + i)^T$，有
$||x||_1 = 1 + |i| + |1 + i| = 1 + 1 + \sqrt{2} = 2 + \sqrt{2}$
$||x||_2 = \sqrt{1^2 + |i|^2 + |1 + i|^2} = \sqrt{1 + 1 + \sqrt{2}^2} = 2$
$||x||_\infty = max\{1,\ 1,\ \sqrt{2}\} = \sqrt{2}$


向量範數的連續性： $\alpha_1,\ \cdots,\ \alpha_n爲C^n$的任一組基，$||.||爲C^n$上任一向量範數，$\forall x \in C^n，有x= \Sigma_i \ x_i \ \alpha_i，x_i \in C^n，則f(x_1,\ \cdots,\ x_n) = ||x||爲x_1,\ \cdots,\ x_n$的連續函數

向量範數的等價性： $||x||^{(1)}與||x||^{(2)}$是線性空間V上定義的兩種向量範數，
若$\exists c_1, c_2 > 0，使c_1 ||x||^{(2)} \leq ||x||^{(1)} \leq c_2 ||x||^{(2)}，\forall x \in V$，則稱這兩個範數等價
有限維線性空間的任意兩種向量範數都是等價的
在無限維線性空間中，兩個向量範數是可以不等價的

2. 矩陣範數

矩陣範數： $\forall A \in F^{n \times n}$，對應一個非負實數||A||滿足
  (1) 正定性：$||A|| \ge 0，且||A|| = 0 \iff A = 0$
  (2) 齊次性：$||aA|| = |a|\ ||A||，a \in F$
  (3) 三角不等式：$\forall A，B \in F^{n \times n}，都有||A + B|| \leq ||A|| + ||B||$
  (4) 相容性：$\forall A，B \in F^{n \times n}，都有||AB|| \leq ||A|| \ ||B||$
則稱||A||爲矩陣A的範數

F(Frobenius)-範數： $||A||_F = \sqrt{\Sigma_{i} \Sigma_{j} |a_{ij}|^2)} = \sqrt{tr(A^HA)} = \sqrt{\Sigma_i \sigma_i^2}$

例如：

$A = (a_{ij}) \in C^{n \times n}，||A||_F = \sqrt{\Sigma_i \Sigma_j |a_{ij}|^2}$，則
$(1) \quad ||A||_F = ||A^H||_F$
$(2) \quad ||UA||_F = ||AV||_F = ||UAV||_F = ||A||_F$，其中U，V是酉矩陣
$(3) \quad tr(A^H A) = \Sigma_i \Sigma_j |a_{ij}|^2$

例如：
$A = \begin{pmatrix} 0 & 3i & 1 \\ 0 & -1 & 0 \\ -1 & 1 & 2 \end{pmatrix}，A^HA = \begin{pmatrix} 1 & -1 & 2 \\ -1 & 11 & 2-3i \\ -2 & 2 + 3i & 5 \end{pmatrix}$
$||A||_F = \sqrt{9 + 1 + 1 + 1 + 1 + 4} = \sqrt{tr(A^HA)} = \sqrt{1 + 11 + 5} = \sqrt{17}$

相容範數： $||Ax|| \leq ||A|| .||x||$，其中||x||是向量範數，||A||是矩陣範數

誘導範數： $||A|| = max\{\frac{||Ax||}{||x||}\}$，其中||x||是向量範數且$x \neq 0$，稱||A||爲由向量範數||x||所誘導的誘導範數

矩陣p-範數： 由$||x||_p$所誘導的矩陣範數。常用的p-範數爲$||A||_1，||A||_2與||A||_\infty$

列和範數： $||A||_1 = max(\Sigma_{i = 1}^n |a_{ij}|)$，np.max(np.sum(abs(arr), axis=1, keepdims=True), axis=0)

行和範數： $||A||_\infty = max(\Sigma_{j = 1}^n |a_{ij}|)$，np.max(np.sum(abs(arr), axis=0, keepdims=True), axis=1)

譜範數： $||A||_2 = \sqrt{\lambda_1}，\lambda_1是A^HA$的最大特徵值

例如：

3. 向量序列與矩陣序列的極限

3.1 向量序列的極限

$x^{(k)} = (x_1^{(k)} \quad \cdots \quad x_n^{(k)})^T，k = 1，2，\cdots是C^n$空間的一個向量序列，如果當$k \rightarrow +\infty$時，它的n個分量數列都收斂，即$\lim_{k \to \infty} x_i^{(k)} = a_i，i = 1，2，\cdots，n$，則稱向量序列$\{x^{(k)}\}$是按分量收斂的。向量$\alpha = (\alpha_1 \quad \cdots \quad \alpha_n)^T$是它的極限，記爲$lim_{k \rightarrow \infty} x^{(k)} = \alpha或 x^{(k)} \rightarrow \alpha$
當至少有一個分量數列是發散的，則稱向量序列是發散的。
例如

$x^{(k)} \in C^n，\alpha \in C^n，則\lim_{k \rightarrow \infty}x^{(k)} = \alpha \iff \lim_{k \rightarrow \infty} ||x^{(k)} - \alpha|| = 0$，其中$||.||爲C^n$中任一範數

3.2 矩陣序列的極限

矩陣序列$\{A^{(k)}\}，A^{(k)} = (a_{ij}^{(k)}) \in C^{n \times n}，若\lim_{k \rightarrow \infty} a_{ij}^{(k)} = a_{ij}，i，j = 1，\cdots，n$，
則稱矩陣序列$\{A^{(k)}\}$收斂，$A = (a_{ij}^{(k)})稱爲\{A^{(k)}\}$的極限，記爲$\lim_{k \rightarrow \infty}A^{(k)} = A或A^{(k)} = A，k \rightarrow \infty$
例如：
$A^{(k)} = \begin{pmatrix} ((1 + \frac{1}{k}) ^ k & 1 + \frac{1}{k} \\ \\ -1 & \frac{(-1)^k}{k} \end{pmatrix} \longrightarrow A = \begin{pmatrix} e & 1 \\ \\ -1 & 0 \end{pmatrix}$

$\{A^{(k)}\} \in C^{n \times n}，||A|| \in C^{n \times n}，則lim_{k \rightarrow \infty} A^{(k)} = ||A|| \iff lim_{k \rightarrow \infty} ||A^{(k)} - A|| = 0$，其中$||.||爲C^n$中任一範數

4. 矩陣冪級數

譜半徑： $\rho(A) = max(|\lambda_i|)，\lambda_i \in \{\lambda_1,\ \lambda_2,\ \cdots,\ \lambda_n\}，\{\lambda_1,\ \lambda_2,\ \cdots,\ \lambda_n\}矩陣A \in C^{n \times n}$的全部特徵值

$\rho(A^k) = (\rho(A))^k$
$A^k \rightarrow 0(k \rightarrow \infty) \iff \rho(A) < 1$

$A \in C^{n \times n}，\forall 矩陣範數||A|| \in C^{n \times n}，都有\rho(A) \leq ||A||$。即A的譜半徑是A的任意一種矩陣範數的下界。

$A \in C^{n \times n}，\forall \epsilon > 0$，存在某種矩陣範數$||A||_*，使||A||_* \leq \rho(A) + \epsilon$。即A的譜半徑是A的所有矩陣範數的下確界
證明：

矩陣冪級數： $\Sigma_{k = 0}^{\infty} a_k A^k = a_0 I + a_1 A + \cdots + a_k A^k + \cdots，其中A \in C^{n \times n}，a_k \in C$

矩陣冪級數的部分和： $S_n(A) = \Sigma^n_{k = 0} a_k A^k$

若$\{S_n(A)\}$收斂，則稱$\Sigma^\infty_{k = 0}a_kA^k$收斂，否則發散

若$\lim_{n \rightarrow \infty} S_n(A) = S$，則稱S爲$\Sigma_{k = 0}^\infty a_kA^k$的和矩陣

收斂性判別： 若復變量z的冪級數$\Sigma_{k = 0}^{\infty}a_k z^k$的收斂半徑爲R，$R = \lim_{n \to \infty} \frac{a_n}{a_{n + 1}}$，而方陣$A \in C^{n \times n}$的譜半徑爲$\rho(A)$，則
  (1) $\rho(A) < R，則\Sigma_{k = 0}^\infty a_k A^k$收斂
  (2) $\rho(A) > R，則\Sigma_{k = 0}^\infty a_k A^k$發散
  (3) $\rho(A) = R，則\Sigma_{k = 0}^\infty a_k A^k$收斂性不定

例如：