人類通過學習，從已知的事實中分析、總結出規律，並且根據規律對未來的現象或無法觀測的現象做出正確的預測和判斷，即獲得認知的推廣能力。在對智能機器的研究當中，人們也希望能夠利用機器（計算機）來模擬人的良好學習能力，這就是機器學習問題。基於數據的機器學習是現代智能技術中的重要方面，機器學習的目的是通過對已知數據的學習，找到數據內在的相互依賴關係，從而獲得對未知數據的預測和判斷能力，在過去的十幾年裏，人工神經網絡以其強大的並行處理機制、任意函數的逼近能力，學習能力以及自組織和自適應能力等在模式識別、預測和決策等領域得到了廣泛的應用。但是神經網絡受到網絡結構複雜性和樣本複雜性的影響較大，容易出現“過學習”或低泛化能力。特別是神經網絡學習算法缺乏定量的分析與完備的理論基礎支持，沒有在本質上推進學習過程本質的認識。
現有機器學習方法共同的重要理論基礎之一是統計學。傳統統計學研究的是樣本數目趨於無窮大時的漸近理論，現有學習方法也多是基於此假設。但在實際問題中，樣本數往往是有限的，因此一些理論上很優秀的學習方法實際中表現卻可能不盡人意。
與傳統統計學相比, 統計學習理論(Statistical Learning Theory 或SLT ) 是一種專門研究小樣本情況下機器學習規律的理論Vladimir N. Vapnik等人從六、七十年代開始致力於此方面研究，到九十年代中期，隨着其理論的不斷髮展和成熟[17]，也由於神經網絡等學習方法在理論上缺乏實質性進展, 統計學習理論開始受到越來越廣泛的重視。
統計學習理論是建立在一套較堅實的理論基礎之上的，爲解決有限樣本學習問題提供了一個統一的框架。它能將很多現有方法納入其中，有望幫助解決許多原來難以解決的問題（比如神經網絡結構選擇問題、局部極小點問題）等；同時, 在這一理論基礎上發展了一種新的通用學習方法—支持向量機(Support Vector Machine或SVM )，它已初步表現出很多優於已有方法的性能。一些學者認爲，SVM 正在成爲繼神經網絡研究之後新的研究熱點，並將有力地推動機器學習理論和技術的發展。
支持向量機（SVM）是一種比較好的實現了結構風險最小化思想的方法。它的機器學習策略是結構風險最小化原則爲了最小化期望風險，應同時最小化經驗風險和置信範圍）
支持向量機方法的基本思想：
（1）它是專門針對有限樣本情況的學習機器，實現的是結構風險最小化：在對給定的數據逼近的精度與逼近函數的複雜性之間尋求折衷，以期獲得最好的推廣能力；
（2）它最終解決的是一個凸二次規劃問題，從理論上說，得到的將是全局最優解，解決了在神經網絡方法中無法避免的局部極值問題；
（3）它將實際問題通過非線性變換轉換到高維的特徵空間，在高維空間中構造線性決策函數來實現原空間中的非線性決策函數，巧妙地解決了維數問題，並保證了有較好的推廣能力，而且算法複雜度與樣本維數無關。
目前，SVM算法在模式識別、迴歸估計、概率密度函數估計等方面都有應用，且算法在效率與精度上已經超過傳統的學習算法或與之不相上下。
對於經驗風險R，可以採用不同的損失函數來描述，如e不敏感函數、Quadratic函數、Huber函數、Laplace函數等。
核函數一般有多項式核、高斯徑向基核、指數徑向基核、多隱層感知核、傅立葉級數核、樣條核、B樣條核等，雖然一些實驗表明在分類中不同的核函數能夠產生幾乎同樣的結果，但在迴歸中，不同的核函數往往對擬合結果有較大的影響
支持向量迴歸算法主要是通過升維後，在高維空間中構造線性決策函數來實現線性迴歸，用e不敏感函數時，其基礎主要是e不敏感函數和核函數算法。若將擬合的數學模型表達多維空間的某一曲線，則根據e不敏感函數所得的結果，就是包括該曲線和訓練點的“e管道”。在所有樣本點中，只有分佈在“管壁”上的那一部分樣本點決定管道的位置。這一部分訓練樣本稱爲“支持向量”。爲適應訓練樣本集的非線性，傳統的擬合方法通常是在線性方程後面加高階項。此法誠然有效，但由此增加的可調參數未免增加了過擬合的風險。支持向量迴歸算法採用核函數解決這一矛盾。用核函數代替線性方程中的線性項可以使原來的線性算法“非線性化”，即能做非線性迴歸。與此同時，引進核函數達到了“升維”的目的，而增加的可調參數是過擬合依然能控制。
http://www.support-vector.net/software.html
http://www.csie.ntu.edu.tw/~cjlin/libsvm/
http://www.isis.ecs.soton.ac.uk/isystems/kernel/
http://www.ecs.soton.ac.uk/~srg/publications/pdf/SVM.pdf
http://www.kernel-machines.org/
2. Vapnik. The Nature of Statistical Learning Theory. Springer, N.Y., 1995.
3. Steve R. Gunn. Support Vector Machines for Classification and Regression. University of Southampton, 1997.
4. 吾今培，孫德山. 現代數據分析. 北京：機械工業出版社，2006.
博客轉自：http://blog.chinaunix.net/uid-20476137-id-1669624.html
