機器學習課程總結

機器學習課程總結

1. 基本任務

1. 迴歸
   1. 線性迴歸
      1. 任務：迴歸&多元迴歸
      2. 思想：最小化所有數據點到分類平面的均方誤差
      3. 模型：凸優化問題
         
      4. 算法：梯度下降法
         
   2. 決策樹
   3. 支持向量機
2. 分類
   1. 邏輯迴歸
      1. 任務：線性分類
      2. 思想：最大化數據點的似然函數
         
      3. 模型：凸優化問題
         
      4. 算法：數值方法–>近似解（梯度下降法、牛頓法）
   2. 決策樹
      1. 任務：迴歸&分類
      2. 思想：利用分而治之的思想對數據集進行遞歸劃分
      3. 模型：樹形結構，利用特定準則選取屬性
         
      4. 算法：ID3, C4.5, CART等
   3. 感知機
      1. 任務：線性二分類
      2. 思想：最小化誤分類點到分類平面的距離
      3. 模型：
      4. 算法：梯度下降法
         
   4. 支持向量機
      1. 任務：分類&迴歸
      2. 思想：最大化數據點到分類超平面的最短距離
      3. 模型：凸約束優化問題
         
      4. 算法：
         1. 凸二次規劃可解：效率低
         2. 拉格朗日乘子法–>對偶問題
            1. 對偶模型：分類&迴歸
            2. 算法：SMO算法–>每次迭代都有閉式解
   5. 貝葉斯分類
   6. 神經網絡
      1. 任務：線性分類&非線性分類
      2. 思想：利用多層神經網絡對非線性可分的數據進行分類
      3. 模型：
      4. 算法：誤差逆傳播（BP）算法 = 梯度下降 + 鏈式法則
         
3. 監督學習
4. 聚類
   1. K-means
      1. 任務：球狀數據聚類
      2. 思想：通過尋找合適的聚類中心對數據進行聚類
      3. 模型：非凸組合優化模型
         
      4. 算法：Lloyd算法（貪婪算法）–>局部最優
   2. 譜聚類
      1. 任務：任意形狀數據聚類
      2. 思想：通過對圖切問題進行鬆弛後求解
      3. 模型：非凸矩陣優化模型
         
      4. 算法：瑞麗商問題–>閉式解
   3. 層次聚類
5. 降維
   1. 主成分分析
      1. 任務：非監督降維
      2. 思想：最大化投影后數據的方差，最小化重建誤差
      3. 模型：非凸優化模型
         
      4. 算法：特徵值問題 --> 閉式解
   2. 線性判別分析
      1. 任務：監督降維
      2. 思想：最大化類間散度矩陣Sb，最小化類內散度矩陣Sw
      3. 模型：非凸優化模型
         
      4. 算法：廣義特徵值問題 --> 閉式解

2. 要求

1. 基礎知識
   1. 基本概念
   2. 數據集劃分
   3. 性能度量
   4. 描述各個任務之間的關係
2. 線性迴歸
   1. 簡述線性迴歸問題
   2. 對簡單數據進行計算
   3. 可以編程實現線性迴歸算法
3. 邏輯迴歸
   1. 簡述，以及與線性迴歸的異同點
   2. 梯度下降法、牛頓法的基本原理和迭代公式
   3. 編程實現
4. 決策樹
   1. 簡述
   2. 會用三種算法（ID3, C4.5, CART）對數據進行分類
   3. 對生成的決策樹進行剪枝處理
5. 感知機
   1. 簡述
   2. 解決邏輯分類問題
6. 神經網絡
   1. 簡述
   2. 與感知機的關係
   3. BP算法的基本原理和迭代公式
7. 支持向量機
   1. 簡述
   2. 與其他分類算法的異同
   3. 使用拉格朗日乘子法對約束優化問題進行求解，理解使用拉格朗日乘子法求解SVM問題的原因
   4. 簡述軟間隔支持向量機，與常規支持向量機的關係與區別
   5. 理解SMO算法
8. K-means
   1. 簡述
   2. 簡述Lloyd算法的流程
   3. 理解模型的矩陣形式
9. 譜聚類
   1. 簡述兩種圖切問題
   2. 簡述算法流程
   3. 掌握工作原理
   4. 與K-means的關係
10. 主成分分析
    1. 簡述算法
    2. 簡述PCA算法的流程
    3. 核化PCA與PCA的異同
11. 線性判別分析
    1. 簡述
    2. 與PCA的異同
    3. 簡述LDA算法的流程