機器學習用到的數學知識

 1、概率：全概率公式，聯合概率，貝葉斯法則，獨立性和條件獨立性，KL距離，似然函數，馬爾科夫模型。多元高斯分佈。

2、線性代數。向量、空間中的點、內積、向量間夾角、歐式距離、線性超平面、垂直的概念、點到超平面的距離。矩陣、逆矩陣、正定矩陣。

3、微積分：函數導數、泰勒展開、函數最優值和導數爲零的關係。自變量爲向量的函數的導數。

4、優化：無約束優化和導數爲零的關係，帶約束優化問題和拉格朗日法，凸函數，凸集合，凸優化問題，對偶問題。最速下降法，牛頓法和擬牛頓法，動態規劃。