其他機器學習系列文章見於專題：機器學習進階之路——學習筆記整理，歡迎大家關注。
機器學習可根據如下規則進行分類：
- 是否在人類監督下進行訓練（監督學習/非監督學習/半監督學習/強化學習）;
- 是否可以動態漸進學習（批量學習/在線學習）；
- 是否只是通過簡單地比較新數據點和已知數據點，還是在訓練數據中進行模式識別，以建立一個預測模型。
1. 監督/非監督/半監督/強化學習
機器學習可以根據訓練時監督的量和類型進行分類，主要有四類：監督學習、非監督學習、半監督學習、強化學習。
1.1 監督學習
監督學習（Supervised learning）包含輸入輸出的訓練數據訓練模型，用來預測新樣本的輸出。
重要的監督學習算法包括：k近鄰算法、線性迴歸、邏輯迴歸、支持向量機、決策樹、神經網絡等。
1.2 非監督學習
非監督學習（Unsupervised learning）的訓練數據是不包含輸出標籤的，算法在輸出未知的情況下學習，然後利用學習好的算法預測新樣本的輸出。
重要的非監督學習算法包括：聚類（K均值、層次聚類分析、期望最大值）、降維（主成分分析、局部線性嵌入）、關聯性規則學習（Apriori算法、Eclat算法）等。
1.3 半監督學習
讓學習器不依賴外界交互，自動地利用未標記樣本來提升學習性能，這稱爲半監督學習。半監督學習訓練數據通常是大量不帶標籤數據加上小部分帶標籤數據。
1.4 強化學習
學習系統（智能體，agent）可以對環境進行觀察、選擇和執行動作，獲得獎勵，然後自己學習哪個是最佳策略，以得到長久的最大獎勵。
2. 批量/在線學習
根據是否能從導入的數據流進行動態持續學習，可以將機器學習分爲批量學習和在線學習
2.1 批量學習
在批量學習中，系統不能進行持續學習，必須用所有可用數據一次性的進行訓練，然後使用已學到的策略來預測新樣本，又稱爲離線學習
2.2 在線學習
在線學習可以一次一個或一次幾個實例（稱爲小批量）持續地進行訓練，所以系統可以動態地學習到達的新數據。
如果計算資源有限，在線學習算法加載部分數據進行訓練，重複這個過程，直到所有數據都進行了訓練。
整個過程通常是離線完成的，這裏的“在線”實際上是持續學習的意思。
3. 基於實例/基於模型學習
根據歸納推廣的方式，機器學習方法可以分爲：基於實例學習和基於模型學習。
3.1 基於實例學習
基於實例學習方法先用記憶學習案例，然後用相似度測量推廣到新的例子。
3.2 基於模型學習
基於模型學習的方法先根據這些樣本的輸入輸出的函數關係，建立模型，然後使用這個模型進行預測。
參考文獻：
- 《Hands-On Machine Learning with Scikit-Learn & Tensorflow》——Aurelien Geron