分類算法
分類(Classification)是機器學習的主要任務之一，分類算法是一種典型的監督學習算法，是根據樣本的特徵將樣本劃分到合適的類別中。具體來說就是利用訓練樣本來進行訓練，從而得到樣本特徵到樣本標籤的映射，再利用該映射來得到新樣本的標籤，最終達到將樣本劃分到不同類別的目的。簡而言之，分類就是通過一組代表物體、事件等的相關屬性來判斷其類別。
分類問題通常有兩種，一種是二元分類問題，另一種是多元分類。對於二元分類問題，通過已有的特徵屬性來判斷事物或者事件的類別，其產生+的結果只有“0”和“1”，即要麼就屬於該類別，要麼就不屬於該類別。對於多元分類問題，也是通過已有的特徵屬性來判斷事物或者事件的類別，但其產生的結果可能不止兩種，而是多個類別，例如，用0~4表示分別表示屬於五個不同的類別。
常見的幾種分類模型有：線性模型、決策樹模型、樸素貝葉斯模型、BP神經網絡模型等。
迴歸算法
機器學習的另一個重要任務就是迴歸(Regression)，迴歸算法同樣也是一種監督學習算法。與分類問題不同的是，在分類算法中，樣本標籤是一些離散的值，每一種標籤都代表着一個類別；然而在迴歸問題中，樣本標籤是一些連續的值。迴歸算法也是通過對訓練樣本的學習，從而得到從樣本特徵到樣本標籤的映射。也可以這麼說，迴歸分析的目的是預測連續的數值型的目標值，接受一系列連續數據，尋找一個最適合數據的方程對特定的值進行預測。這個方程被稱爲迴歸方程，求解迴歸方程就是求該方程的係數，求解這些係數的過程就是迴歸。
分類和迴歸最主要的區別就是輸出的結果不同，定性輸出稱爲分類，即離散變量的預測；定量輸出稱爲迴歸，即連續變量的預測。例如：預測一個人是小學生、中學生還是大學生，這是一個分類問題；預測一個人的年齡是多少歲，就是一個迴歸問題。
常見的幾種迴歸模型有：線性迴歸、廣義線性迴歸、決策樹迴歸、隨機森林迴歸、嶺迴歸、梯度提高樹迴歸、生存迴歸、保序迴歸等。需要特別注意的是，邏輯迴歸算法雖然是叫回歸算法，但卻不是迴歸算法，而是一種分類算法。