統計學習
統計學習就是計算機系統通過運用數據及統計方法提高系統性能的機器學習。現在，人們提及機器學習時，往往是統計機器學習。
統計學習方法包括模型的假設空間、模型選擇的準則及模型學習的算法。稱爲統計學習的三要素，簡稱爲模型、策略和算法。
模型：
模型就是所要學習的條件概率分佈或決策函數。模型的假設空間包含所有可能的條件概率分佈或決策函數。例如，假設決策函數是輸入變量的線性函數，那麼模型的假設空間就是所有這些線性函數構成的集合。假設空間中的模型一般有無限多個。決策樹、樸素貝葉斯等這些都叫做模型。
策略：
策略就是考慮如何選擇最優模型。這裏是用損失函數和風險函數作爲策略。損失函數度量模型一次預測的好壞，風險函數度量平均意義下模型預測的好壞。
算法：
有了最優模型，我們需要用一些計算方法求解最優模型。這是統計學習問題歸結爲最優化問題。例如梯度下降法、最小二乘法都是常用的求解最優模型算法。
實現統計學習方法步驟如下：
（1）得到一個有限的訓練數據集合
（2）確定學習模型的集合
（3）確定模學習的策略
（4）實現學習的算法
（5）通過學習方法選擇最優模型
（6）利用學習的最優模型對新數據進行預測或分析
統計學習方法分類
統計學習或機器學習一般包括監督學習、無監督學習、強化學習。有時還包括半監督學習、主動學習。最主要的學習方法還是監督學習和無監督學習。