機器學習

數學基礎

導數

導數與極值

當一階導數等於0，而二階導數大於0時，爲極小值；當一階導數等於0，而二階導數小於0時，爲極大值點，當一階導數、二階導數都等於0時，爲駐點。

正弦餘弦

餘弦

• 餘弦圖像
• 餘弦相似度

常見差值

均方誤差(mean square error):
* 百度知道

方差:
* 方差計算公式
*

對數

• 指數和對數的公式總結
*

幾何

平面

• 平面及其方程

矩陣基礎

概念

對稱矩陣:wiki

常見矩陣

海森矩陣:
* 海森矩陣被應用於牛頓法解決的大規模優化問題
* wiki(包含鞍點,極值,駐點)
雅可比矩陣:
* 正定矩陣,負定矩陣
* wiki
* Jacobian矩陣和Hessian矩陣

導數基礎

概念

偏導數:wiki(包含各類導數的鏈接，導數的符號定義參考，示例)

其他

牛頓法:wiki

機器學習

模型評估

bias Variance

一般而言高偏差意味着欠擬合，高方差意味着過擬合

• 機器學習算法中的偏差-方差權衡(Bias-Variance Tradeoff)

數據預處理

歸一化

• 數據歸一化和兩種常用的歸一化方法

缺失數據處理

• 機器學習中如何處理缺失數據？

算法

邏輯迴歸

• 邏輯迴歸
• logistic迴歸詳解(二）：損失函數（cost function）詳解

還有什麼需要去了解：多分類、牛頓法

支持向量機(svm)

還有什麼需要去了解：svm的其他實現方式

文本相關

tf-idf:
* TF-IDF與餘弦相似性的應用（一）：自動提取關鍵詞

正則化

• 正則化方法：L1和L2 regularization、數據集擴增、dropout

面試經驗

邏輯迴歸

邏輯迴歸的常見面試點總結

優化方法

常見的幾種最優化方法

• 梯度下降(3中及adam等)
  邏輯迴歸

• 牛頓，擬牛頓

• 共軛梯度法

• 啓發式優化方法

• 解決約束優化問題——拉格朗日乘數法

• 最小二乘法
  線性迴歸

損失函數

常見的損失函數