人工智能-線性代數之向量篇

線性代數之向量篇

在機器學習中線性代數是及其重要的數學工具，因爲訓練數據時會進行大量的矩陣運算，所有的線性方程計算都會轉化成矩陣的計算，訓練模型時所需要的計算量是巨大的，而全部轉化爲矩陣會縮短計算的時間，極大的提升計算速度，而且很多方程只能通過向量化的形式來解，代數與幾何密不可分，可以相互的轉化，這也正是數學的魅力所在。

1. 向量

1.1 定義

在數學中，向量（也稱爲歐幾里得向量、幾何向量、矢量），指具有大小和方向的量。
代數表示：$\vec{a} \quad \vec{b}$
矩陣表示：
$a=\begin{bmatrix} x_1 \\ x_2 \\ \end{bmatrix} =\left \langle x_1,x_2 \right \rangle \tag{1}$
向量的模：向量的大小稱爲向量的模，是個標量，沒有方向。
表示爲：$|a|=\sqrt{x_1^2+x_2^2}$

n維空間：用 $R^n$表示，向量在某一個維度上的值稱爲向量在該維度上的分量。如$R^3$空間的向量 $a=\left \langle1,3,5 \right \rangle$，則a在三個維度上的分量分別是 1,3,5。

零向量：所有分量都爲0的向量，單位向量：模長等於1的向量 ，計算公式 一個非零向量除以它的模,即 $N=\frac{a}{|a|}$

1.2 向量的運算

加法：
$a=\begin{bmatrix} -1 \\ 2 \\ \end{bmatrix},b=\begin{bmatrix} 3 \\ 4 \\ \end{bmatrix}，a+b=\begin{bmatrix} -1+3 \\ 2+4 \\ \end{bmatrix}=\begin{bmatrix} 2 \\ 6 \\ \end{bmatrix} \tag{2}$

數乘：
$a=\begin{bmatrix} 1 \\ 2 \\ \end{bmatrix}, a\times3=\begin{bmatrix} 3 \\ 6 \\ \end{bmatrix}, a\times(-3)=\begin{bmatrix} -3 \\ -6 \\ \end{bmatrix} \tag{3}$
減法：
$a=\begin{bmatrix} 3 \\ 3 \\ \end{bmatrix},b=\begin{bmatrix} -1 \\ -1 \\ \end{bmatrix}，a-b=a+(-1)\times b=\begin{bmatrix} 4 \\ 4 \\ \end{bmatrix}\tag{4}$

1.3 向量與方程組

一個方程組可以分解爲一個向量的混合運算。例如：
$\left\{ \begin{aligned} 3x+2y =7 \\ -6x+6y=6 \\ \end{aligned} \right.\Rightarrow \underbrace{\begin{bmatrix} 3 \\ -6 \\ \end{bmatrix}}_ax+ \underbrace{\begin{bmatrix} 2 \\ 6 \\ \end{bmatrix}}_by= \underbrace{\begin{bmatrix} 7 \\ 6 \\ \end{bmatrix}}_c\Rightarrow ax+by=c \tag{5}$

$\left\{\begin{aligned} x =1 \\ y=2 \\ \end{aligned} \right.\Rightarrow a+2b=c \tag{6}$

1.4 向量的點積

如果A和B都是n維向量，它們的點積就是二者的分量的乘積之和。
代數意義：$A\cdot B=\sum_{i=1}^na_ib_i$
幾何意義：$A=\left\langle a_1,a_2\right\rangle，B=\left\langle b_1,b_2\right\rangle \;A \cdot B=a_1b_1+a_2b_2=|A||B|\cos\theta$
點積的作用：1.計算向量間的夾角，2.判斷正交性，3.求向量的分量

1.5 向量的叉積

二維空間內定義：$A=\begin{bmatrix} a1 \\ a2 \\ \end{bmatrix},B=\begin{bmatrix} b1 \\ b2 \\ \end{bmatrix}, A\times B=\begin{array}{|clr|} a_1 &a_2\\ b_1 &b_2\\ \end{array}=a_1b_2-a_2b_1$
三維空間內定義：
$A=\begin{bmatrix} a1 \\ a2 \\ a3 \\ \end{bmatrix},B=\begin{bmatrix} b1 \\ b2 \\ b3 \\ \end{bmatrix}, A\times B=\begin{array}{|clr|} \hat{i} &\hat{j} &\hat{k} \\ a_1 &a_2 &a_3\\ b_1 &b_2 &b_3\\ \end{array}=a_1b_2-a_2b_1=\left\langle \hat{i} \begin{array}{|clr|} a_2 &a_3\\ b_2 &b_3\\ \end{array} , -\hat{j} \begin{array}{|clr|} a_1 &a_3\\ b_1 &b_3\\ \end{array},\hat{k} \begin{array}{|clr|} a_1 &a_2\\ b_1 &b_2\\ \end{array}\right\rangle$
&\hat{i},&\hat{j},&\hat{k}代表每個維度的單位向量，行列式是一個函數，它的代表的是一個標量。叉積的結果是一個向量，這點要非常清晰。
幾何意義：$|A\times B|=|A||B|\sin\theta$，即兩個向量的叉積的模長等於這兩個向量模長的積乘以二者夾角的正弦。
叉積的作用：1.計算平行六面體的體積，2.判斷點是否共面，3.計算法向量

2. 行列式

2.1 定義

定義：對於n維空間的行列式，可以表示爲：$D_n=|A_{n\times n}|=det(A_{n\times n})$，其中A是一個n階方陣。

2.2 性質

• 單位矩陣的行列式爲1
• 如果$D_n=det(A)$的某行的元素全爲0，那麼$D_n=0$
• 如果$D_n=det(A)$中某兩行元素對應成比例，那麼$D_n=0$
• 如果$D_n=det(A)$中某兩行元素互換，那麼互換後的行列式變號，即$det(A)=-det(A)$
• 倍乘性質 ,行列式A中某行(或列)用同一數k乘,其結果等於kA，$det(kA_{n\times n})=k^ndet(A_{n\times n})$
• 倍加性質：
  $\begin{array}{|clr|} a_1 &a_2\\ b_1 &b_2\\ \end{array}=\begin{array}{|clr|} a_1 &a_2\\ b_1+ka_1 &b_2+ka_2\\ \end{array}$
• 單行可拆性：從左到右是加，從右到左是拆
  $\begin{array}{|clr|} a_1 &a_2\\ b_1 &b_2\\ \end{array}+ \begin{array}{|clr|} a_1 &a_2\\ c_1 &b_c\\ \end{array}=\begin{array}{|clr|} a_1 &a_2\\ c_1+b_1 &c_2+b_2\\ \end{array}$
• 以上所有作用於行的性質都可以適用於列上
• 兩個矩陣相乘的行列式，等於這個兩個矩陣的行列式相乘 det(AB)=det(A)det(B)

2.3 行列式的意義

行列式是由向量組成的，當$det(A)\not=0$時，組成det(A)的向量全部獨立，此時，方程組有唯一解。
$\begin{array}{|clr|} 1 &2\\ 3 &4\\ \end{array} \not=0\rightarrow \left\{ \begin{aligned} x_1+x_2 =0 \\ 3x_1+4x_2=0 \\ \end{aligned} \right.$

2.4 行列式的計算

$det(U)=d_1d_2d_3\ldots d_n=\prod^n_{i=1}d_i$

$det(A)=\sum _{n!}\pm a_{1\alpha}a_{2\beta}a_{3\gamma}\cdots a_{n\varpi}$

2.5 代數餘子式

代數餘子式的核心思想是把一個複雜的高階行列式轉換爲多個簡單的低階行列式

$det(A)=a_{11}(a_{22}a_{33}-a_{23}a_{32})-a_{12}(a_{21}a_{33}-a_{23}a_{31})+a_{13}(a_{21}a_{32}-a_{22}a_{31})$
$det(A)=a_{11}C_{11}+a_{12}C_{12}+\cdots +a_{1n}C_{1n}=\sum _{i=1}^na_{1i}C_{1i}$

3. python代碼

import numpy as np

if __name__ == '__main__':
    a = np.array([-1, 2, 3])
    b = np.array([3, 1, 4])
    a_add_b = a + b
    a_sub_b = a - b
    a_mul_b = a * b
    # 計算點積
    a_inner_b = np.inner(a, b)
    # 計算叉積
    a_cross_b = np.cross(a, b)

    print(a_add_b, a_sub_b, a_mul_b, a_inner_b, a_cross_b)

    c = np.mat('1 2;3 3')
    d = np.mat('2 2 1; 1 0 1; 0 2 1')
    # 計算兩個行列式
    det_c = np.linalg.det(c)
    det_d = np.linalg.det(d)
    print('c={0}\n D(c)={1}'.format(c,np.round(det_c)))
    print('d={0}\n D(d)={1}'.format(d,np.round(det_d)))

• 執行結果截圖