這兩門學科作爲機器學習的必備科目!
一、微積分
1夾逼定理
通俗的講:A≤B≤C
當求極限時,存在A=C,則說明B也等於A和C
案例1:
案例2:
2 兩個重要極限
3 導數
通俗的講就是曲線的斜率
二階導數是斜率變化快慢的反應,表徵曲線的凹凸性
常用的函數的導數
案例1:
求冪指函數的套路
===重要公式之,泰勒公式:
簡單應用:
4 方向導數和梯度函數
(1)方向導數:如果函數z=f(x,y)在點P(x,y)是可微分的,那麼,函數在該點沿任一方向L的方向導數都存在,且有:
其中,ψ爲x軸到方向L的轉角
(2)梯度函數:
設函數z=f(x,y)在平面區域D內具有一階連續偏導數,則對於每一個點P(x,y)∈D,向量
爲函數z=f(x,y)在點P的梯度,記做gradf(x,y)
梯度的方向是函數在該點變化最快的方向
考慮一座解析式爲H(x,y)的山。在(x0,y0)點的梯度是在
該點坡度最陡的方向。
梯度下降法
5 凸函數和凹函數
定理:f(x)在區間[a,b]上連續,在(a,b)內二階
可導,那麼:
若f’’(x)>0,則f(x)是凸的;
若f’’(x)<0,則f(x)是凹的;
應用案例:
設p(x)、q(x)是在X中取值的兩個概率分佈,給定如下定義式
求解過程:
二、概率論:
1 古典概率例題:
舉例:將n個不同的球放入N(N≥n)個盒子中,假設盒子容量無限,求事件A={每個盒子至多有1個球}的概率。
2裝箱問題:
將12件正品和3件次品隨機裝在3個箱子中。每箱中恰有1件次品的概率是多少?
求解:
將15件產品裝入3個箱子,每箱裝5件,共有15!/(5!5!5!)種裝法;
先把3件次品放入3個箱子,有3!種裝法。對於這樣的每一種裝法,把其餘12件產品裝入3個箱子,每箱裝4件,共有12!/(4!4!4!)種裝法;
P(A)= (3!*12!/(4!4!4!)) / (15!/(5!5!5!)) = 25/91
3 幾個經典的概率公式:
4 各種分佈模型
(1)0-1分佈:
(2)二項分佈:
(3)泊松分佈:
(4)均勻分佈:
(5)指數分佈:
(6)正態分佈:
5 Logistic函數 :
記住:f'(x)=f(x)(1-f(x))