机器学习之相关数学基础

1.机器学习数学部分常用相关概念:

(1).高等数学

1)函数

2)极限

3)导数

4)极值和最值

5)泰勒级数

6)梯度

7)梯度下降

(2).线性代数

1)基本概念

2)行列式

3)矩阵

4)最小二乘法

5)向量的线性相关性

(3).概率论

1)事件

2)排列组合

3)概率

4)贝叶斯定理

5)概率分布

6)期望和方差

7)参数估计

 

2.视频学习内容:https://www.bilibili.com/video/BV1Tb411H7uC?p=2

1)P2 概率论与贝叶斯先验

2)P3 矩阵和线性代数

机器学习是一门多领域交叉学科,涉及较多的数学知识,本节课知识之前都有学过,这次根据重点重新梳理一遍,一定要多加重视。通过观看视频,大家对课程的数学基础部分加深印象。

建议大家边看边做笔记,记录要点及所在时间点,以便有必要的时候回看。学习笔记也是作业的一部分。

 

3.要求:

(1)贴上视频学习笔记,要求真实,不要抄袭,可以手写拍照。

1)P2 概率论与贝叶斯先验

  视频中学习的笔记记录(公式)

 

 

2)P3 矩阵和线性代数

  矩阵和线性代数主要内容有如下几点:

 

用到的线性代数知识有:

1.方阵的行列式之间的运算

2.代数余子式

3.范德蒙行列式Vandermonde

4.矩阵的乘法

5.矩阵的秩

6.秩与线性方程组的解的关系

7.正交阵

8.特征值和特征向量

9.正定阵

 

(2)用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”,可以word编辑,可做思维导图,可以手写拍照,要求言简意赅、排版整洁。

  梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。简单说在单变量的实值函数的情况,梯度只是导数,或者,对于一个线性代数,也就是线的斜率。

  梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降是最常采用的方法之一。简单说就是从山顶上找一个最快,最陡峭的路线下山

贝叶斯定理:贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因(即大事件A已经发生的条件下,分割中的小事件

的概率),设

是样本空间Ω的一个划分,则对任一事件A(P(A)>0),有贝叶斯定理:

对于特征集合x,我们想要知道样本在这个特征集合x下属于哪个类别,即求后验概率P(c|x)最大的类标记。这样基于贝叶斯公式,可以得到:

  贝叶斯定理是用来描述两个条件概率之间关系的定理,比如P(A|B)和P(B|A),通常,事件A在事件B发生的条件下的概率{P(A|B)}与事件B在事件A的条件下的概率{P(B|A)}是不一样的,但是这两者之间有确定的关系,贝叶斯法则就是这种关系的陈述。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章