機器學習的發展歷程可以簡單分爲3個階段
———— / BEGIN / ————
- 1950年代-1970年代：推理期
這個時期人們認爲“智能”就是“邏輯推理”，想要賦予計算機“智能”只需要賦予計算機邏輯推理能力即可。
這個時期代表作有A.Newell和H.Simon的“邏輯理論家”和“通用問題求解”程序。
其中“邏輯理論家”程序在1963年證明了《數學原理》中的全部52條定理。因此兩位科學家獲得了1975年圖靈獎。
此時，人們發現僅僅具有邏輯推理能力是不能擁有“智能”的，還需要大量的“知識”。
- 1970年代之後：知識期
這個時期人們開始花費大力氣在“如何教授計算機知識”上。
自然而然，出現了“知識工程”。
知識工程是以知識爲基礎的系統，就是通過智能軟件而建立的專家系統。知識工程可以看成是人工智能在知識信息處理方面的發展，研究如何由計算機表示知識，進行問題的自動求解。知識工程的研究使人工智能的研究從理論轉向應用，從基於推理的模型轉向基於知識的模型。【摘自頭條百科】
知識工程過程包括5個活動
(1)知識獲取。知識獲取包括從人類專家、書籍、文件、傳感器、或計算機文件獲取知識，知識可能是特定領域或特定問題的解決程序，或者它可能是一般知識或者是元知識解決問題的過程。
(2)知識驗證。知識驗證是知識被驗證(例如，通過測試用例)，直到它的質量是可以接受的。測試用例的結果通常被專家用來驗證知識的準確性。
(3)知識表示。獲得的知識被組織在一起的活動叫做知識表示。這個活動需要準備知識地圖以及在知識庫進行知識編碼。
(4)推論。這個活動包括軟件的設計，使電腦做出基於知識和細節問題的推論。然後該系統可以推論結果提供建議給非專業用戶。
(5)解釋和理由。這包括設計和編程的解釋功能。
顯然，當知識量越來越大，知識獲取變成了阻礙機器學習瓶頸，這就是所謂的“知識工程瓶頸”---想把所有知識通過人類教給計算機很難做到，要讓機器能夠自己學習知識。
- 機器學習階段
機器學習首先是在圖靈的《圖靈測試》中提出了機器學習的可能性，之後便開始有很多學者開始研究，但是，在1950年代至1970年代，因爲人們處於”推理期“和“知識期”，機器學習並沒有得到重視。
E.A.Feigenbaum曾提出機器學習分爲4大類：
其中影響最重要的是”從樣例中學習“
1950-1990代表邏輯表示的“符號主義”學習包括著名的決策樹，基於邏輯的歸納學習系統。
1990中期統計學習理論包括支持向量機和核方法，核方法現在被應用在機器學習的每一個角落。
隨着Intel x86處理器和內存條的出現，連接主義學習捲土重來，這就是近幾年火熱的”深度學習“。
- END -