教程內容：
1. 本課程的教學重心是從數學層面理解並掌握推導經典的機器學習算法，從歷史到細節深入瞭解機器學習的基本思想和各種算法的具體思路與方法。
2. 強化數學、概率論、數理統計的基礎知識，夯實機器學習的基礎必備知識。
3. 本課程將提供嚴謹的數學推導過程文檔，幫助學員更好地掌握算法推導（面試必備）
4. 課程中講設置隨堂測驗環節，幫助學員在課中鞏固和理解重要知識點。
5. 課程將提供學員經過老師精心整理的配套學習資料和經典論文，在課程的不同階段給學員用來複習和學習。
教程目錄：
第一課：機器學習的數學基礎
1. 機器學習的數學基礎
a. 函數與數據的泛化
b. 推理與歸納 (Deduction and Induction)
2. 線性代數（Linear Algebra）
a. 向量與矩陣 (Vector and Matrix)
b. 特徵值與特徵向量
c. 向量與高維空間
d. 特徵向量（Feature Vector）
3. 概率與統計（Probability and Statistics）
a. 條件概率與經典問題 (Conditional Probability)
b. 邊緣概率 (Marginal Probability)
4. 作業/實踐： 財寶問題的概率計算程序
第二課：機器學習的數學基礎
1. 統計推理（Statistical Inference）
a. 貝葉斯原理與推理 (Bayesian Theorem)
b. 極大似然估計 (Maximum Likelihood)
c. 主觀概率（Subjective Probability）
d. 最大後延概率（MAP)
2. 隨機變量（Random Variable）
a. 獨立與相關 (Independence)
b. 均值與方差 （Mean and Variance）
c. 協方差 (Co-Variance)
3. 概率分佈（Probability Distributions)
4. 中心極限定理（Central Limit Theorem)
5. 作業/實踐： 概率分佈採樣與不同隨機變量之間協方差計算
第三課：機器學習的數學基礎
1. 梯度下降（Gradient Descent）
a. 導數與梯度（Derivative and Gradient）
b. 隨機梯度下降（SGD）
c. 牛頓方法（Newton's Method)
2. 凸函數（Convex Function）
a. Jensen不等式（Jensen's Inequality）
b. 拉格朗日乘子（Lagrange Multiplier）
3. 作業/實踐： 利用牛頓方法求解給定的方程
第四課：機器學習的哲學（Philosophy of ML）
1. 算法的科學（Science of Algorithms）
a. 輸入與輸出的神話（Mystery of I/O）
b. 奧卡姆剃刀（Occam’s Razor）
2. 維數的詛咒（Curse of Dimensionality）
a. 高維的幾何特性 (Geometric Properity )
b. 高維空間流形（High-dimensional Manifold）
3. 機器學習與人工智能（Machine learning and AI）
4. 機器學習的範式（Paradigms of ML）
第五課：經典機器學習模型（Classical ML Models）
1. 樣本學習（Case-Based Reasoning）
a. K-近鄰（K-Nearest Neighbors）
b. K-近鄰預測（KNN for Prediction）
c. 距離與測度（Distance and Metric）
2. 樸素貝葉斯（Naïve Bayes Classifier)
a. 條件獨立（Conditional Independence）
b. 分類（Naive Bayes for Classification)
3. 作業/實踐：垃圾郵件分類的案例
第六課：經典機器學習模型（Classical ML Models）
1. 決策樹（Decision Tree Learning）
a. 信息論與概率
b. 信息熵（Information Entropy）
c. ID3, CART算法
2. 決策樹剪枝（Pruning）
3. 軟決策樹（Soft Decision Tree）
4. 決策樹與規則（DT and Rule Learning）
5. 作業/實踐：決策樹分類實驗
第七課：經典機器學習模型（Classical ML Models）
1. 集成學習（Ensemble learning）
a. Bagging and Boosting
b. AdaBoost
c. 誤差分解（Bias-Variance Decomposition）
d. 隨機森林（Boosting and Random Forest）
2. 模型評估（Model Evaluation）
a. 交叉驗證（Cross-ValIDAtion）
b. ROC (Receiver Operating Characteristics)
c. Cost-Sensitive Learning
3. 作業/實踐：隨機森林與決策樹分類實驗的比較
第八課：線性模型（Linear Models）
1. 線性模型（Linear Models）
a. 線性擬合（Linear Regression）
2. 最小二乘法（LMS）
b. 線性分類器（Linear Classifier）
3. 感知器（Perceptron）
4. 對數機率迴歸（Logistic Regression）
5. 線性模型的概率解釋 (Probabilistic Interpretation)
6. 作業/實踐：對數機率迴歸的文本情感分析中應用
第九課：線性模型（Linear Models）
1. 線性判別分析 (Linear Discrimination Analysis)
2. 約束線性模型 (Linear Model with Regularization)
a. LASSO
b. Ridge Regression
3. 稀疏表示與字典學習
a. Sparse Representation & Coding
b. Dictionary Learning
第十課：核方法（Kernel Methods）
1. 支持向量機SVM（Support Vector Machines）
a. VC-維（VC-Dimension）
b. 最大間距（Maximum Margin）
c. 支撐向量（Support Vectors）
2. 作業/實踐：SVM不同核函數在實際分類中比較
第十一課：核方法（Kernel Methods）
1. 對偶拉格朗日乘子
2. KKT條件（KKT Conditions）
3. Support Vector Regression (SVR)
4. 核方法（Kernel Methods）
第十二課：統計學習（Statistical Learning）
1. 判別模型與生成模型
a. 隱含變量（Latent Variable）
2. 混合模型（Mixture Model）
a. 三枚硬幣問題（3-Coin Problem）
b. 高斯混合模型（Gaussian Mixture Model）
3. EM算法（Expectation Maximization）
a. 期望最大（Expectation Maximization）
b. 混合模型的EM算法（EM for Mixture Models）
c. Jensen 不等式 (Jensen's Inequality)
d. EM算法推導與性能 (EM Algorithm)
第十三課：統計學習（Statistical Learning）
1. 隱馬可夫模型（Hidden Markov Models）
a. 動態混合模型（Dynamic Mixture Model）
b. 維特比算法（Viterbi Algorithm）
c. 算法推導 (Algorithm)
2. 條件隨機場（Conditional Random Field）
第十四課：統計學習（Statistical Learning）
1. 層次圖模型（Hierarchical Bayesian Model）
a. 概率圖模型 (Graphical Model)
b. 從隱含語義模型到p-LSA (From LSA to P-LSA)
c. Dirichlet 分佈與特點（Dirichlet Distribution）
d. 對偶分佈（Conjugate Distribution）
第十五課：統計學習（Statistical Learning）
1. 主題模型（Topic Model – LDA）
a. Latent Dirichlet Allocation
b. 文本分類（LDA for Text Classification）
2. 中文主題模型（Topic Modeling for Chinese）
3. 其他主題模型（Other Topic Variables）
第十六課：無監督學習（Unsupervised Learning）
1. K-均值算法（K-Means）
a. 核密度估計（Kernel Density Estimation）
b. 層次聚類（Hierarchical Clustering）
2. 蒙特卡洛(Monte Carlo)
a. 蒙特卡洛樹搜索（Monte Carol Tree Search）
b. MCMC（Markov Chain Monte Carlo）
c. Gibbs Sampling
第十七課：流形學習（Manifold Learning）
1. 主成分分析（PCA）
a. PCA and ICA
2. 低維嵌入（Low-Dimensional Embedding）
a. 等度量映射（Isomap）
b. 局部線性嵌入（Locally Linear Embedding）
第十八課：概念學習（Concept Learning）
1. 概念學習（Concept Learning）
a. 經典概念學習
b. One-Short概念學習
2. 高斯過程學習（Gaussian Process for ML）
c. Dirichlet Process
第十九課：強化學習（Reinforcement Learning）
1. 獎賞與懲罰（Reward and Penalty）
a. 狀態空間 (State-Space Model)
b. Q-學習算法 (Q-Learning)
2. 路徑規劃 （Path Planning）
3. 遊戲人工智能 （Game AI）
4. 作業/實踐：小鳥飛行遊戲的自動學習算法
第二十課：神經網絡
1. 多層神經網絡
a. 非線性映射（Nonlinear Mapping）
b. 反向傳播（Back-propagation）
2. 自動編碼器（Auto-Encoder）