數學必備知識點
1、 線性代數
標量、向量、矩陣和張量；矩陣向量的運算；單位矩陣和逆矩陣；行列式；方差，標準差，協方差矩陣；範數；特殊類型的矩陣和向量；特徵分解以及其意義；奇異值分解及其意義
Moore-Penrose 僞逆；跡運算
線性變換和非線性變換
線性變換的定義
點積和投影
矩陣乘法的幾何意義
特徵向量和特徵值
奇異值分解
線性可分性和維度
非線性變換
————————————————
2、 概率統計
概率學派和貝葉斯學派；何爲隨機變量和何又爲概率分佈；條件概率，聯合概率和全概率公式；邊緣概率；獨立性和條件獨立性；期望、方差、協方差和相關係數；常用概率分佈；貝葉斯及其應用；中心極限定理；極大似然估計；概率論中的獨立同分布
一個於概率論非常相關的領域-信息論也是深度學習的必要模塊，理解信息論裏關於熵，條件熵， 交叉熵的理論， 有助於幫助我們瞭解機器學習和深度學習的目標函數的設計， 比如交叉熵爲什麼會是各類分類問題的基礎
3、 優化
計算複雜性與NP問題；上溢和下溢；導數，偏導數及兩個特殊矩陣；方向導數和梯度；梯度下降法；牛頓法；仿射集,凸集和凸錐；超平面，半空間及凸集分離定理；不改變凸性的運算；凸函數及凸優化簡述；無約束的優化，等式約束優化，不等式約束優化；線性規劃中對偶理論；拉格朗日對偶理論
4、 信息論及其他
信息熵；條件熵；相對熵 (KL散度)；互信息；幾種常用的距離度量；圖論；樹論
上面數學基本上就是我們所要學的數學的全部了，看上去有點嚇人是不？不要慌，沒有那麼難，一點點啃下去就可以了。
推薦資料：
資料一：機器學習王牌課程CS229課後配套數學，專門配套機器學習的。
鏈接：https://pan.baidu.com/s/1Fh__… 密碼：48n4
資料二：Yoshua Bengio的《深度學習》書，網上公開的，前面有一部分是對數學的專門講解，很基礎很全面。
鏈接：https://pan.baidu.com/s/1A9mc… 密碼：hwjn
資料三：知乎答主的優秀回答，很細緻，適合初學者
線代專欄：https://zhuanlan.zhihu.com/p/…
概率統計：https://zhuanlan.zhihu.com/p/…
優化（上）：https://zhuanlan.zhihu.com/p/…
優化（下）：https://zhuanlan.zhihu.com/p/…
信息論及其他：https://zhuanlan.zhihu.com/p/…