前言
機器學習分爲：監督學習，無監督學習，半監督學習（也可以用hinton所說的強化學習）等。
在這裏，主要理解一下監督學習和無監督學習。
監督學習（supervised learning）
從給定的訓練數據集中學習出一個函數（模型參數），當新的數據到來時，可以根據這個函數預測結果。監督學習的訓練集要求包括輸入輸出，也可以說是特徵和目標。訓練集中的目標是由人標註的。監督學習就是最常見的分類（注意和聚類區分）問題，通過已有的訓練樣本（即已知數據及其對應的輸出）去訓練得到一個最優模型（這個模型屬於某個函數的集合，最優表示某個評價準則下是最佳的），再利用這個模型將所有的輸入映射爲相應的輸出，對輸出進行簡單的判斷從而實現分類的目的。也就具有了對未知數據分類的能力。監督學習的目標往往是讓計算機去學習我們已經創建好的分類系統（模型）。
監督學習是訓練神經網絡和決策樹的常見技術。這兩種技術高度依賴事先確定的分類系統給出的信息，對於神經網絡，分類系統利用信息判斷網絡的錯誤，然後不斷調整網絡參數。對於決策樹，分類系統用它來判斷哪些屬性提供了最多的信息。
常見的有監督學習算法：迴歸分析和統計分類。最典型的算法是KNN和SVM。
有監督學習最常見的就是：regression&classification
Regression：Y是實數vector。迴歸問題，就是擬合(x,y)的一條曲線，使得價值函數(costfunction) L最小
Classification：Y是一個有窮數(finitenumber)，可以看做類標號，分類問題首先要給定有lable的數據訓練分類器，故屬於有監督學習過程。分類過程中cost function l(X,Y)是X屬於類Y的概率的負對數。
其中fi(X)=P(Y=i/X)。
無監督學習（unsupervised learning）
輸入數據沒有被標記，也沒有確定的結果。樣本數據類別未知，需要根據樣本間的相似性對樣本集進行分類（聚類，clustering）試圖使類內差距最小化，類間差距最大化。通俗點將就是實際應用中，不少情況下無法預先知道樣本的標籤，也就是說沒有訓練樣本對應的類別，因而只能從原先沒有樣本標籤的樣本集開始學習分類器設計。
非監督學習目標不是告訴計算機怎麼做，而是讓它（計算機）自己去學習怎樣做事情。非監督學習有兩種思路。第一種思路是在指導Agent時不爲其指定明確分類，而是在成功時，採用某種形式的激勵制度。需要注意的是，這類訓練通常會置於決策問題的框架裏，因爲它的目標不是爲了產生一個分類系統，而是做出最大回報的決定，這種思路很好的概括了現實世界，agent可以對正確的行爲做出激勵，而對錯誤行爲做出懲罰。
無監督學習的方法分爲兩大類：
(1) 一類爲基於概率密度函數估計的直接方法：指設法找到各類別在特徵空間的分佈參數，再進行分類。
(2) 另一類是稱爲基於樣本間相似性度量的簡潔聚類方法：其原理是設法定出不同類別的核心或初始內核，然後依據樣本與核心之間的相似性度量將樣本聚集成不同的類別。
利用聚類結果，可以提取數據集中隱藏信息，對未來數據進行分類和預測。應用於數據挖掘，模式識別，圖像處理等。
PCA和很多deep learning算法都屬於無監督學習。
兩者的不同點
1. 有監督學習方法必須要有訓練集與測試樣本。在訓練集中找規律，而對測試樣本使用這種規律。而非監督學習沒有訓練集，只有一組數據，在該組數據集內尋找規律。
2. 有監督學習的方法就是識別事物，識別的結果表現在給待識別數據加上了標籤。因此訓練樣本集必須由帶標籤的樣本組成。而非監督學習方法只有要分析的數據集的本身，預先沒有什麼標籤。如果發現數據集呈現某種聚集性，則可按自然的聚集性分類，但不予以某種預先分類標籤對上號爲目的。
3. 非監督學習方法在尋找數據集中的規律性，這種規律性並不一定要達到劃分數據集的目的，也就是說不一定要“分類”。
這一點是比有監督學習方法的用途要廣。 譬如分析一堆數據的主分量，或分析數據集有什麼特點都可以歸於非監督學習方法的範疇。
4. 用非監督學習方法分析數據集的主分量與用K-L變換計算數據集的主分量又有區別。後者從方法上講不是學習方法。因此用K-L變換找主分量不屬於無監督學習方法，即方法上不是。而通過學習逐漸找到規律性這體現了學習方法這一點。在人工神經元網絡中尋找主分量的方法屬於無監督學習方法。
何時採用哪種方法
簡單的方法就是從定義入手，有訓練樣本則考慮採用監督學習方法；無訓練樣本，則一定不能用監督學習方法。但是，現實問題中，即使沒有訓練樣本，我們也能夠憑藉自己的雙眼，從待分類的數據中，人工標註一些樣本，並把它們作爲訓練樣本，這樣的話，可以把條件改善，用監督學習方法來做。對於不同的場景，正負樣本的分佈如果會存在偏移（可能大的偏移，可能比較小），這樣的話，監督學習的效果可能就不如用非監督學習了。
————————————————
版權聲明：本文爲CSDN博主「風翼冰舟」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/zb1165048017/article/details/48579677
