常用的分類與預測算法
| 算法名稱 | 算法描述 |
|---|---|
| 迴歸分析 |
迴歸分析是確定預測屬性（數值型）與其它變量間相互依賴的定量關係最常用的統計學方法。 包括：線性迴歸、非線性迴歸、Logistic迴歸、嶺迴歸、主成分迴歸、偏最小二乘迴歸等模型。 |
| 決策樹 | 決策樹採用自頂向下的遞歸方式，在內部節點進行屬性值的比較，並根據不同的屬性值從該節點向下分支，最終得到的葉子節點是學習劃分的類 |
| 人工神經網絡 | 人工神經網絡是一種模仿大腦神經網絡結構和功能而建立的信息處理系統，表示神經網絡的輸入與輸出變量之間關係的模型 |
| 貝葉斯網絡 | 貝葉斯網絡又稱信度網絡，是Bayes方法的擴展，是目前不確定知識表述和推理領域最有效的理論模型之一 |
| 支持向量機 | 支持向量機是一種通過某種非線性映射，把低維的非線性可分轉化爲高維的線性可分，在高維空間進行線性分析的算法 |
迴歸分析
主要回歸模型分類
| 迴歸模型名稱 | 適用條件 | 算法描述 |
|---|---|---|
| 線性迴歸 | 因變量與自變量是線性關係 | 對一個或多個自變量和因變量之間的線性關係進行建模，可用最小二乘法求解模型係數 |
| 非線性迴歸 | 因變量與自變量之間不都是線性關係 | 對一個或多個變量和因變量之間的非線性關係進行建模。如果非線性關係可以通過簡單的函數變換轉化成線性關係，用線性迴歸的思想求解；如果不能轉化，用非線性最小二乘法求解。 |
| Logistic迴歸 | 因變量一般有1和0（是否）兩種取值 | 是廣義線性迴歸模型的特例，利用Logistic函數將因變量的取值範圍控制在0和1之間，表示取值爲1的概率 |
| 嶺迴歸 | 參與建模的自變量之間具有多重共線性 | 是一種改進最小二乘估計的方法 |
| 主成分迴歸 | 參與建模的自變量之間具有多重共線性 | 主成分迴歸是根據主成分分析的思想提出來的，是對最小二乘法的一種改進，它是參數估計的一種有偏估計。可以消除自變量之間的多重共線性。 |
線性迴歸模型是相對簡單的迴歸模型，但是通常因變量和自變量之間呈現某種曲線關係，就需要建立非線性迴歸模型。
當自變量之間出現多重共線性時，用最小二乘估計的迴歸係數將會不準確，消除多重共線性的參數改進的估計方法主要有嶺迴歸和主成分迴歸。