数学必备知识点
1、 线性代数
标量、向量、矩阵和张量；矩阵向量的运算；单位矩阵和逆矩阵；行列式；方差，标准差，协方差矩阵；范数；特殊类型的矩阵和向量；特征分解以及其意义；奇异值分解及其意义
Moore-Penrose 伪逆；迹运算
线性变换和非线性变换
线性变换的定义
点积和投影
矩阵乘法的几何意义
特征向量和特征值
奇异值分解
线性可分性和维度
非线性变换
————————————————
2、 概率统计
概率学派和贝叶斯学派；何为随机变量和何又为概率分布；条件概率，联合概率和全概率公式；边缘概率；独立性和条件独立性；期望、方差、协方差和相关系数；常用概率分布；贝叶斯及其应用；中心极限定理；极大似然估计；概率论中的独立同分布
一个于概率论非常相关的领域-信息论也是深度学习的必要模块，理解信息论里关于熵，条件熵， 交叉熵的理论， 有助于帮助我们了解机器学习和深度学习的目标函数的设计， 比如交叉熵为什么会是各类分类问题的基础
3、 优化
计算复杂性与NP问题；上溢和下溢；导数，偏导数及两个特殊矩阵；方向导数和梯度；梯度下降法；牛顿法；仿射集,凸集和凸锥；超平面，半空间及凸集分离定理；不改变凸性的运算；凸函数及凸优化简述；无约束的优化，等式约束优化，不等式约束优化；线性规划中对偶理论；拉格朗日对偶理论
4、 信息论及其他
信息熵；条件熵；相对熵 (KL散度)；互信息；几种常用的距离度量；图论；树论
上面数学基本上就是我们所要学的数学的全部了，看上去有点吓人是不？不要慌，没有那么难，一点点啃下去就可以了。
推荐资料：
资料一：机器学习王牌课程CS229课后配套数学，专门配套机器学习的。
链接：https://pan.baidu.com/s/1Fh__… 密码：48n4
资料二：Yoshua Bengio的《深度学习》书，网上公开的，前面有一部分是对数学的专门讲解，很基础很全面。
链接：https://pan.baidu.com/s/1A9mc… 密码：hwjn
资料三：知乎答主的优秀回答，很细致，适合初学者
线代专栏：https://zhuanlan.zhihu.com/p/…
概率统计：https://zhuanlan.zhihu.com/p/…
优化（上）：https://zhuanlan.zhihu.com/p/…
优化（下）：https://zhuanlan.zhihu.com/p/…
信息论及其他：https://zhuanlan.zhihu.com/p/…