機器學習是近20多年興起的一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、計算複雜性理論等多門學科。機器學習理論主要是設計和分析一些讓計算機可以自動“學習”的算法。機器學習算法是一類從數據中自動分析獲得規律，並利用規律對未知數據進行預測的算法。因爲學習算法中涉及了大量的統計學理論，機器學習與推斷統計學聯繫尤爲密切，也被稱爲統計學習理論。算法設計方面，機器學習理論關注可以實現的，行之有效的學習算法。很多推論問題屬於無程序可循難度，所以部分的機器學習研究是開發容易處理的近似算法。
機器學習已廣泛應用於數據挖掘、計算機視覺、自然語言處理、生物特徵識別、搜索引擎、醫學診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序、語音和手寫識別、戰略遊戲和機器人等領域。
定義
機器學習有下面幾種定義： “機器學習是一門人工智能的科學，該領域的主要研究對象是人工智能，特別是如何在經驗學習中改善具體算法的性能”。 “機器學習是對能通過經驗自動改進的計算機算法的研究”。 “機器學習是用數據或以往的經驗，以此優化計算機程序的性能標準。” 一種經常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
分類
機器學習可以分成下面幾種類別：
- 監督學習從給定的訓練數據集中學習出一個函數，當新的數據到來時，可以根據這個函數預測結果。監督學習的訓練集要求是包括輸入和輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。常見的監督學習算法包括迴歸分析和統計分類。
- 無監督學習與監督學習相比，訓練集沒有人爲標註的結果。常見的無監督學習算法有聚類。
- 半監督學習介於監督學習與無監督學習之間。
- 增強學習通過觀察來學習做成如何的動作。每個動作都會對環境有所影響，學習對象根據觀察到的周圍環境的反饋來做出判斷。
算法
具體的機器學習算法有：
參考文獻
書目
- Bishop, C. M. (1995). 《模式識別神經網絡》，牛津大學出版社。ISBN 0-19-853864-2
- Bishop, C. M. (2006). 《模式識別與機器學習》，Springer。ISBN 978-0-387-31073-2
- Richard O. Duda, Peter E. Hart, David G. Stork (2001) 《模式分類》（第2版）, Wiley, New York, ISBN 0-471-05669-3.
- MacKay, D. J. C. (2003). 《信息理論、推理和學習算法》，劍橋大學出版社。ISBN 0-521-64298-1
- Mitchell, T. (1997). 《機器學習》, McGraw Hill. ISBN 0-07-042807-7
- Sholom Weiss, Casimir Kulikowski (1991). Computer Systems That Learn, Morgan Kaufmann. ISBN 1-55860-065-5