機器學習之相關數學基礎

1.機器學習數學部分常用相關概念:

(1).高等數學

1)函數

2)極限

3)導數

4)極值和最值

5)泰勒級數

6)梯度

7)梯度下降

(2).線性代數

1)基本概念

2)行列式

3)矩陣

4)最小二乘法

5)向量的線性相關性

(3).概率論

1)事件

2)排列組合

3)概率

4)貝葉斯定理

5)概率分佈

6)期望和方差

7)參數估計

 

2.視頻學習內容:https://www.bilibili.com/video/BV1Tb411H7uC?p=2

1)P2 概率論與貝葉斯先驗

2)P3 矩陣和線性代數

機器學習是一門多領域交叉學科,涉及較多的數學知識,本節課知識之前都有學過,這次根據重點重新梳理一遍,一定要多加重視。通過觀看視頻,大家對課程的數學基礎部分加深印象。

建議大家邊看邊做筆記,記錄要點及所在時間點,以便有必要的時候回看。學習筆記也是作業的一部分。

 

3.要求:

(1)貼上視頻學習筆記,要求真實,不要抄襲,可以手寫拍照。

1)P2 概率論與貝葉斯先驗

  視頻中學習的筆記記錄(公式)

 

 

2)P3 矩陣和線性代數

  矩陣和線性代數主要內容有如下幾點:

 

用到的線性代數知識有:

1.方陣的行列式之間的運算

2.代數餘子式

3.範德蒙行列式Vandermonde

4.矩陣的乘法

5.矩陣的秩

6.秩與線性方程組的解的關係

7.正交陣

8.特徵值和特徵向量

9.正定陣

 

(2)用自己的話總結“梯度”,“梯度下降”和“貝葉斯定理”,可以word編輯,可做思維導圖,可以手寫拍照,要求言簡意賅、排版整潔。

  梯度的本意是一個向量(矢量),表示某一函數在該點處的方向導數沿着該方向取得最大值,即函數在該點處沿着該方向(此梯度的方向)變化最快,變化率最大(爲該梯度的模)。簡單說在單變量的實值函數的情況,梯度只是導數,或者,對於一個線性代數,也就是線的斜率。

  梯度下降是迭代法的一種,可以用於求解最小二乘問題(線性和非線性都可以)。在求解機器學習算法的模型參數,即無約束優化問題時,梯度下降是最常採用的方法之一。簡單說就是從山頂上找一個最快,最陡峭的路線下山

貝葉斯定理:貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因(即大事件A已經發生的條件下,分割中的小事件

的概率),設

是樣本空間Ω的一個劃分,則對任一事件A(P(A)>0),有貝葉斯定理:

對於特徵集合x,我們想要知道樣本在這個特徵集合x下屬於哪個類別,即求後驗概率P(c|x)最大的類標記。這樣基於貝葉斯公式,可以得到:

  貝葉斯定理是用來描述兩個條件概率之間關係的定理,比如P(A|B)和P(B|A),通常,事件A在事件B發生的條件下的概率{P(A|B)}與事件B在事件A的條件下的概率{P(B|A)}是不一樣的,但是這兩者之間有確定的關係,貝葉斯法則就是這種關係的陳述。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章