機器學習的數學知識點總結

高等數學

1. 導數和偏導數的定義與計算方法，與函數性質的關係

可導一定連續，連續不一定可導

2. 梯度向量的定義

3. 極值定理，可導函數在極值點處導數或梯度必須爲0

4. 凸函數的定義與判斷方法

5. 泰勒展開公式

6. 拉格朗日乘數法，用於求解帶等式約束的極值問題

7. 雅可比矩陣，這是向量到向量映射函數的偏導數構成的矩陣，在求導推導中會用到

8. Hessian矩陣，這是2階導數對多元函數的推廣，與函數的極值有密切的聯繫

線性代數

1. 行列式的定義與計算方法

2. 矩陣（向量）和它的各種運算，包括加（減）法，數乘，轉置，內積

3. 逆矩陣的定義與性質

逆矩陣是唯一的

4. 方陣的特徵值與特徵向量

5. 奇異值分解

6. 二次型的定義

7. 矩陣的正定性

8. 線性方程組的解的結構

9. 向量和矩陣的範數，L1範數和L2範數

概率論

1. 隨機事件的概念，概率的定義

2. 條件概率與貝葉斯公式

3. 隨機變量與概率分佈

4. 離散型隨機變量及其分佈律

5. 連續型隨機變量及其概率密度

6. 隨機變量的均值與方差，協方差

7. 隨機變量的獨立性