周志華《機器學習》之 第一章（緒論） 概念總結

1）迴歸與分類：利用機器學習對離散值進行預測時，稱爲“分類”，而對連續值進行預測時，稱爲“迴歸”。
2）監督學習與無監督學習：根據訓練數據是否有標記信息，學習任務可大致分爲兩大類，“監督學習”與“無監督學習”，分類和迴歸是前者的代表，聚類則是後者的代表。
機器學習的常用方法，主要分爲有監督學習(supervised learning)和無監督學習(unsupervised learning)。監督學習，就是人們常說的分類，通過已有的訓練樣本（即已知數據以及其對應的輸出）去訓練得到一個最優模型（這個模型屬於某個函數的集合，最優則表示在某個評價準則下是最佳的），再利用這個模型將所有的輸入映射爲相應的輸出，對輸出進行簡單的判斷從而實現分類的目的，也就具有了對未知數據進行分類的能力。在人對事物的認識中，我們從孩子開始就被大人們教授這是鳥啊、那是豬啊、那是房子啊，等等。我們所見到的景物就是輸入數據，而大人們對這些景物的判斷結果（是房子還是鳥啊）就是相應的輸出。當我們見識多了以後，腦子裏就慢慢地得到了一些泛化的模型，這就是訓練得到的那個（或者那些）函數，從而不需要大人在旁邊指點的時候，我們也能分辨的出來哪些是房子，哪些是鳥。監督學習裏典型的例子就是KNN、SVM。無監督學習（也有人叫非監督學習，反正都差不多）則是另一種研究的比較多的學習方法，它與監督學習的不同之處，在於我們事先沒有任何訓練樣本，而需要直接對數據進行建模。這聽起來似乎有點不可思議，但是在我們自身認識世界的過程中很多處都用到了無監督學習。比如我們去參觀一個畫展，我們完全對藝術一無所知，但是欣賞完多幅作品之後，我們也能把它們分成不同的派別（比如哪些更朦朧一點，哪些更寫實一些，即使我們不知道什麼叫做朦朧派，什麼叫做寫實派，但是至少我們能把他們分爲兩個類）。無監督學習裏典型的例子就是聚類了。聚類的目的在於把相似的東西聚在一起，而我們並不關心這一類是什麼。因此，一個聚類算法通常只需要知道如何計算相似度就可以開始工作了。
那麼，什麼時候應該採用監督學習，什麼時候應該採用非監督學習呢？我也是從一次面試的過程中被問到這個問題以後纔開始認真地考慮答案。一種非常簡單的回答就是從定義入手，如果我們在分類的過程中有訓練樣本(training data)，則可以考慮用監督學習的方法；如果沒有訓練樣本，則不可能用監督學習的方法。但是事實上，我們在針對一個現實問題進行解答的過程中，即使我們沒有現成的訓練樣本，我們也能夠憑藉自己的雙眼，從待分類的數據中人工標註一些樣本，並把他們作爲訓練樣本，這樣的話就可以把條件改善，用監督學習的方法來做。當然不得不說的是有時候數據表達的會非常隱蔽，也就是說我們手頭的信息不是抽象的形式，而是具體的一大堆數字，這樣我們很難憑藉人本身對它們簡單地進行分類。這個說的好像有點不大明白，舉個例子說就是在bag-of-words模型的時候，我們利用k-means的方法聚類從而對數據投影，這時候用k-means就是因爲我們當前到手的只有一大堆數據，而且是很高維的，當我們想把他們分爲50個類的時候，我們已經無力將每個數據標記說這個數應該是哪個類，那個數又應該是哪個類了。所以說遇到這種情況也只有無監督學習能夠幫助我們了。那麼這麼說來，能不能再深入地問下去，如果有訓練樣本（或者說如果我們可以獲得到一些訓練數據的話），監督學習就會比無監督學習更合適呢？（照我們單純地想，有高人教總比自己領悟來的準，來的快吧！）我覺得一般來說，是這樣的，但是這要具體看看訓練數據的獲取。本人在最近課題的研究中，手動標註了大量的訓練樣本（當然這些樣本基本準確了），而且把樣本畫在特徵空間中發現線性可分性非常好，只是在分類面附近總有一些混淆的數據樣本，從而用線性分類器進行分類之後這樣樣本會被誤判。然而，如果用混合高斯模型(GMM)來分的話，這些易混淆的點被正確分類的更多了。對這個現象的一個解釋，就是不管是訓練樣本，還是待聚類的數據，並不是所有數據都是相互獨立同分布的。換句話說，數據與數據的分佈之間存在聯繫。在我閱讀監督學習的大量材料中，大家都沒有對訓練數據的這一假設（獨立同分布）進行說明，直到我閱讀到一本書的提示後才恍然大悟。對於不同的場景，正負樣本的分佈如果會存在偏移（可能是大的偏移，也可能偏移比較小），這樣的話用監督學習的效果可能就不如用非監督學習了。
3）歸納與演繹：前者是從特殊到一般的泛化，後者是從一般到特殊的特化。
4）概念學習：廣義的歸納學習大體相當於從樣例中學習，而狹義的歸納學習則要求從訓練數據中學得概念，因此亦稱爲“概念學習”或“概念形成”，概念學習中最基本的是布爾概念學習，即對“是”與“不是”這樣的可表示爲0/1布爾值的目標概念的學習。
5）死記硬背式學習：“記住”訓練樣本，就是所謂的“機械學習”。
6）版本空間：現實問題中我們常面臨很大的假設空間，但學習過程是基於有限樣本訓練集進行的，因此，可能有多個假設與訓練集一致，即存在着一個與訓練集一致的“假設集合”，我們稱之爲“版本空間”。
7）歸納偏好：歸納偏好可看做學習算法自身在一個可能很龐大的假設空間中對假設進行選擇的啓發式或“價值觀”。“Occam’s razor”是一種常用的，自然科學研究中最基本的原則，即“若有多個假設與觀察一致，則選最簡單的那個”。如果採用這個原則，並且假設我們認爲“更平滑”意味着“更簡單”，歸納偏好是否與問題本身匹配，大多數時候直接決定了算法能否取得好的性能。
8）沒有免費的午餐定理（No Free Lunch Theorem）：無論學習算法 σ1 多聰明，學習算法 σ2多笨拙，它們的期望性能竟然相同！
NFL定理有一個重要前提：所有“問題”出現的機會相同，或所有的問題同等重要，實際並非如此
NFL定理也簡短論述過程中 f 的均勻分佈，而實際情形並非如此。
NFL定理讓我們清楚認識到，脫離具體問題，空談“什麼算法更好”毫無意義
9）統計學習：它的代表技術是支持向量機
10）深度學習在思想上並未超越二十世紀八十年代中後期神經網絡學習的研究
11）趨勢：強化學習，遷移學習