距離上次看SVM算法已經快過了半個月了，今天再次看到，溫故知新後決定把自己的理解寫出來。不過由於本人文筆不佳，所以想到什麼寫什麼，等有空了再整理。看到覺得混亂的還請見諒。
剛剛看SVM的時候，只能明白支持向量機之所以叫支持向量機是因爲支持向量，後面懂得了w的內容是什麼、幾何距離的意義、低維映射到高維的作用、核函數、SMO、隨機梯度下降。SVM算法相對其他機器學習算法，內容涉及要廣的多，很多東西都非常巧妙，在計算上相對其他要遍歷所有樣本的算法來說，只需作爲支持向量的樣本即可構造模型，讓預測計算複雜度降低很多，而核函數又將維爆炸的問題完美解決。而我覺得對於SVM，即使是面對新的GBRT(Gradient Boosting Random Tree，迭代隨機森林)也不失下風，就像2014年淘寶天池大賽使用SVM算法的參賽者獲得了第八的成績。
SVM算法優勢來自於高維空間，將向量投影到高維空間後，每個特徵點都獲得了更多的屬性，更多的屬性意味着樣本背後隱藏的信息也會被帶出，顯然，額外的信息可以讓樣本得到更好的分類。可惜，不一樣的核函數構造的高維空間有很大特異性，這也就造成了不一樣的核函數對同一組樣品預測的能力天差地別，這或許也是SVM的缺點，它能否將隱藏的信息帶出，在一定程度上是不受控制的，一旦核函數不合適，帶來的將會是無用的干擾信息。或許有一天誰能把核函數也用上boosting的方法就能解決了，哈哈，誰知道呢。