機器學習---數學基礎加強（1）

什麼是機器學習

機器學習是人工智能的分支。我們使用計算機設計一個系統改過訓練數據按照一種方式進行學習。隨着訓練次數的增加，該系統可以在性能上不斷的進行改進與學習，通過參數優化的學習模型，能夠用來預測相關問題的輸出。

機器學習的一般流程

數據收集==》數據清洗==》抽取特徵工程==》數據建模==》模型的使用

機器學習的方法

需要先進行工具原理的瞭解，之後才能進行數據的選擇

數學基礎

導數

一個導數簡單的說指的是曲線的斜率。而二階導數則是隻的斜率變化的快慢，反應了曲線的凹凸性。

梯度

一個函數在某一個點的偏導確定，如果存在某個方向 L 函數沿着該方向下降的速度最快則稱這個方向爲該函數的梯度。
$\frac{\partial f(x,y)}{\partial l_{x,y}}=\frac{\partial f(x,y)}{\partial x}\cos\varphi+\frac{\partial f(x,y)}{\partial y}\sin\varphi\\\\$
其中上式也可以寫成
$\frac{\partial f(x,y)}{\partial L}=\begin{pmatrix}\frac{\partial f(x,y)}{\partial x}&\frac{\partial f(x,y)}{\partial x}\end{pmatrix}(\begin{array}{c}\cos\varphi\\\sin\varphi\end{array})$

凸函數與凹函數

如果一個函數滿足以下的條件則稱之爲凸函數否則稱之爲凹函數。
$f(\theta x + (1 - \theta )y) \le \theta f(x) + (1 - \theta )f(y) ， \theta \le 1$
對於一元函數來說其凸函數的含義表示其兩點之間的割線位於函數值的上方。
針對多元函數來說，其Hession矩陣爲正定矩陣的情況下，表示函數爲凸函數。這個性質可以用來求多元函數的極值。

正定矩陣

在線性代數裏，正定矩陣 (positive definite matrix) 有時會簡稱爲正定陣。
定義:A是n階方陣，如果對任何非零向量x，都有${X^T}AX \ge 0$。其中${X^T}$表示X的轉置，就稱A正定矩陣。
對於矩陣A，其每個特徵值都大於等於0的情況下爲半正定矩陣。而如果矩陣爲負的情況下爲負正定矩陣。

Hessian矩陣

Hession也就是多元函數二階導數所得到的一個矩陣。如果這個矩陣在某個區間內爲正定矩陣則爲凸函數，如果爲負正定矩陣則爲凹函數。聯繫到一階函數中的凸函數與凹函數可以得知，在凹函數區間內可以求出極大值，在凸函數區間可以求出極小值。