關於SVM的那點破事[faruto長期更新整理]

簡易目錄:

寫在前面的碎碎念;
Libsvm下載
SVM入門;
Libsvm安裝與使用(待完善);
SVM相關文獻資料;
SVM相關書籍推薦;
SVM[Libsvm]相關應用(待完善);
SVM相關雜帖(待完善);
寫在最後的閒扯淡;
Faruto的聯繫方式(討論MATLAB相關問題或者具體一些SVM相關問題或者再具體一些libsvm使用相關問題或者再再具體一些 … …);

===================無聊的分隔線=========================

寫在前面的碎碎念 by faruto        

        還記得初次接觸SVM是本科大三的時候參加北師本科科研基金在管理學院系統科學那邊做一個有關腦電波EEG模式識別的項目,那時候對於“機器學習”這個概念還是頭一次染指,後來使用libsvm工具箱來做分類和迴歸,在用的過程中來學習SVM底層的統計學習理論,再後來自己完善提升libsvm的matlab版本,在林智仁先生的libsvm-mat基礎上自己編寫了一些輔助函數(參數尋優什麼的),後來不斷完善,最終自己的libsvm-mat版本是libsvm-mat-2.89-3[FarutoUltimate3.0],方便自己使用以及論壇的一些朋友使用。
        SVM的實現工具箱有很多,但我還是認爲libsvm最好用(lssvm也不錯的說),我認爲把這一個SVM的實現工具箱研究的透徹就夠了,反正我是夠用了,即如果現在需要SVM這個工具來進行分類或者回歸我可以拿來libsvm-mat-2.89-3[FarutoUltimate3.0]就能熟練使用以達到解決自己的問題的目的,而不用再重新學習掌握SVM這個工具。
        其實還有一些話要說,姑且先留着吧 … …

====================
MATLAB技術論壇電子期刊第九期(2011.06)[faruto帖子集錦]
http://www.matlabsky.com/thread-17223-1-1.html
====================
《Learn SVM Step by Step 》系列視頻應用篇
Libsvm下載

Libsvm-mat林智仁先生的原始版本下載

libsvm官方更新[2011.04.01]:libsvm-3.1
http://www.matlabsky.com/thread-14345-1-1.html

libsvm-mat-2.91-1.zip
http://www.matlabsky.com/thread-9328-1-1.html
【說明:最新的版本爲libsvm-mat-3.0-1.zip大家可以在這裏下載http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 最新版本的改動是將SVM的model structure移動到了svm.h裏面,對於常規用戶沒有影響基本和以前的都一樣,只是方便一些高級用戶自己進行底層代碼的修改】

Libsvm-mat faruto版本下載

(更新libsvm-faruto版本歸來)libsvm-3.1-[FarutoUltimate3.1Mcode]
http://www.matlabsky.com/thread-17936-1-1.html

libsvm-mat-2.89-3[FarutoUltimate3.0]
http://www.matlabsky.com/thread-9327-1-1.html

GUI版本下載【基於libsvm-mat-2.89-3[FarutoUltimate3.0]】
[原創]SVM_GUI_2.0[mcode][by_faruto]
http://www.matlabsky.com/thread-9333-1-1.html

SVM入門

我個人推薦您看這個系列帖子

SVM入門精品系列講解目錄
http://www.matlabsky.com/thread-10317-1-1.html
共有10個系列講解,很適合SVM入門。

[整理]Libsvm官方FAQ翻譯
http://www.matlabsky.com/thread-15225-1-1.html


Libsvm安裝與使用(待完善);

libsvm-mat在MATLAB平臺下的安裝【by faruto】
http://www.matlabsky.com/thread-11925-1-1.html

如何使用libsvm進行分類【by faruto】
http://www.matlabsky.com/thread-12379-1-1.html

如何使用libsvm進行迴歸預測【by faruto】
http://www.matlabsky.com/thread-12390-1-1.html

利用libsvm-mat建立分類模型model參數解密【by faruto】
http://www.matlabsky.com/thread-12649-1-1.html

libsvm如何使用自定義核函數[有關-t 4 參數的使用例子]
http://www.matlabsky.com/thread-15296-1-1.html

【轉】Matlab中使用libsvm進行分類預測時的標籤問題再次說明
http://www.matlabsky.com/thread-12396-1-1.html

基於GridSearch的svm參數尋優
http://www.matlabsky.com/thread-12411-1-1.html

基於GA的svm參數尋優
http://www.matlabsky.com/thread-12412-1-1.html

基於PSO的svm參數尋優
http://www.matlabsky.com/thread-12414-1-1.html

線性可分模式的最優超平面的詳細推導過程【支持向量機相關】
http://www.matlabsky.com/thread-12613-1-1.html


libsvm 參數說明【中英文雙語版本】
http://www.matlabsky.com/thread-12380-1-1.html


這部分過一段還要完善,目前關於libsvm的安裝與使用可以參看以下資源


另外一篇:MATLAB自帶的svm實現函數與libsvm差別小議

1 MATLAB自帶的svm實現函數僅有的模型是C-SVC(C-support vector classification); 而libsvm工具箱有C-SVC(C-support vector classification),nu-SVC(nu-support vector classification),one-class SVM(distribution estimation),epsilon-SVR(epsilon-support vector regression),nu-SVR(nu-support vector regression)等多種模型可供使用。 
2 MATLAB自帶的svm實現函數僅支持分類問題,不支持迴歸問題;而libsvm不僅支持分類問題,亦支持迴歸問題。 
3 MATLAB自帶的svm實現函數僅支持二分類問題,多分類問題需按照多分類的相應算法編程實現;而libsvm採用1v1算法支持多分類。 
4 MATLAB自帶的svm實現函數採用RBF核函數時無法調節核函數的參數gamma,貌似僅能用默認的;而libsvm可以進行該參數的調節。 
5 libsvm中的二次規劃問題的解決算法是SMO;而MATLAB自帶的svm實現函數中二次規劃問題的解法有三種可以選擇:經典二次方法;SMO;最小二乘。(這個是我目前發現的MATLAB自帶的svm實現函數唯一的優點~)

參看在優酷上的一個有關libsvm的視頻(這個是我以前在國內某論壇製作過的一個視頻被網友放到了優酷上)

http://v.youku.com/v_show/id_XMTIwOTIzNTQ4.html

SVM相關文獻資料

[flash]
http://player.youku.com/player.php/sid/XMTIwOTIzNTQ4/v.swf
[/flash]


關於SVM的理論相關的,在下面提供了一些資源和paper, ppt,pdf,雖然這幾個資源是有限的,但我敢說足夠了.原因有兩個:a.下面的幾個文獻本身質量就很高.b.這些文獻主要的SVM的參考文獻已經幾乎全部列出了,你可以尋徑查找.

田英傑_支持向量迴歸機及其應用研究
http://www.matlabsky.com/thread-12841-1-1.html

Sequential Minimal Optimization for SVM
http://www.matlabsky.com/thread-13059-1-1.html


資料截圖:  

資料打包下載:
遊客,如果您要查看本帖隱藏內容請回覆


SVM相關書籍推薦

關於SVM的相關書籍,我個人首推這本書《MATLAB 神經網絡30個案例分析》,因爲我是這本書的作者之一,這本書的12-15章是有關SVM的,很不錯的一本書,歡迎您購買
 
購買方式:
噹噹
http://product.dangdang.com/prod ... 07&ref=search-1-pub
china-pub
http://www.china-pub.com/50688
卓越
http://www.amazon.cn/mn/detailApp/ref=sr_1_1?_encoding=UTF8&s=books&qid=1287536439&asin=B003HGHB9W&sr=8-1

《MATLAB 神經網絡30個案例分析》官方網站(可以額外購買書籍視頻)
http://video.ourmatlab.com/
書籍視頻銷售客服QQ:1007911579


Matlab神經網絡30個案例讀者交流羣
http://www.matlabsky.com/thread-14315-1-1.html


書籍目錄
第1章 P神經網絡的數據分類——語音特徵信號分類1 
第2章 BP神經網絡的非線性系統建模——非線性函數擬合11 
第3章 遺傳算法優化BP神經網絡——非線性函數擬合21 
第4章 神經網絡遺傳算法函數極值尋優——非線性函數極值尋優36 
第5章 基於BP_Adaboost的強分類器設計——公司財務預警建模45 
第6章 PID神經元網絡解耦控制算法——多變量系統控制54 
第7章 RBF網絡的迴歸——非線性函數迴歸的實現65 
第8章 GRNN的數據預測——基於廣義迴歸神經網絡的貨運量預測73 
第9章 離散Hopfield神經網絡的聯想記憶——數字識別81 
第10章 離散Hopfield神經網絡的分類——高校科研能力評價90 
第11章 連續Hopfield神經網絡的優化——旅行商問題優化計算100 
第12章 SVM的數據分類預測——意大利葡萄酒種類識別112 
第13章 SVM的參數優化——如何更好的提升分類器的性能122 
第14章 SVM的迴歸預測分析——上證指數開盤指數預測133 
第15章 SVM的信息粒化時序迴歸預測——上證指數開盤指數變化趨勢和變化空間預測141 

第16章 自組織競爭網絡在模式分類中的應用——患者癌症發病預測153 
第17章 SOM神經網絡的數據分類——柴油機故障診斷159 
第18章 Elman神經網絡的數據預測——電力負荷預測模型研究170 
第19章 概率神經網絡的分類預測——基於PNN的變壓器故障診斷176 
第20章 神經網絡變量篩選——基於BP的神經網絡變量篩選183 
.第21章 LVQ神經網絡的分類——乳腺腫瘤診斷188 
第22章 LVQ神經網絡的預測——人臉朝向識別198 
第23章 小波神經網絡的時間序列預測——短時交通流量預測208 
第24章 模糊神經網絡的預測算法——嘉陵江水質評價218 
第25章 廣義神經網絡的聚類算法——網絡入侵聚類229 
第26章 粒子羣優化算法的尋優算法——非線性函數極值尋優236 
第27章 遺傳算法優化計算——建模自變量降維243 
第28章 基於灰色神經網絡的預測算法研究——訂單需求預測258 
第29章 基於Kohonen網絡的聚類算法——網絡入侵聚類268 
第30章 神經網絡GUI的實現——基於GUI的神經網絡擬合、模式識別、聚類277
========================================================
MATLAB神經網絡30個案例分析 源代碼+數據{SVM}[chapter12-15]
http://www.matlabsky.com/thread-11385-1-1.html
MATLAB神經網絡30個案例分析 源代碼+數據 大放送目錄
http://www.matlabsky.com/thread-11479-1-1.html
========================================================

還有這本書也很不錯~
《支持向量機--理論、算法與拓展》
作者: 鄧乃揚    田英傑   
出版社:科學出版社
ISBN:9787030250315
上架時間:2009-8-12
出版日期:2009 年8月
開本:16開
頁碼:244
版次:1-1
 

China-pub上的購買鏈接:http://www.china-pub.com/47322


SVM[Libsvm]相關應用(待完善)

基於libsvm的手寫字體識別
http://www.matlabsky.com/thread-11025-1-1.html
基於libsvm的圖像分割
http://www.matlabsky.com/thread-11026-1-1.html
基於SVM的基因選擇(SVM-RFE算法)[SVM Recursive Feature Elimination (SVM RFE)]
基因選擇算法SVM-RFE
http://www.matlabsky.com/thread-11568-1-1.html

基於平均影響值MIV的SVM變量篩選方法
http://www.matlabsky.com/thread-11569-1-1.html

基於SVM的語音特徵信號分類
http://www.matlabsky.com/thread-11821-1-1.html

如何可視化libsvm的分類結果以及分類曲線
http://www.matlabsky.com/thread-12358-1-1.html

【轉】文本分類入門(番外篇)特徵選擇與特徵權重計算的區別
http://www.matlabsky.com/thread-12574-1-1.html

一些計劃中將要發的帖子:
下幾個帖子計劃 掰餑餑說餡 的給大家說說
如何使用libsvm進行分類
如何使用libsvm進行迴歸
如何優化libsvm的各種參數
使用libsvm進行分類和迴歸的通常的流程以及注意事項

這個最有技術含量了,因爲總有朋友說用libsvm做分類或者回歸效果不好,我說把數據給我試一下,結果我做的效果一般都會比其要好,爲啥捏?這裏先簡單說一點點:使用libsvm(SVM)不是簡簡單單的用svmtrain輸入幾個參數 -c -g 生成model後用svmpredict來分類或者回歸,其實更重要的是前期的數據預處理和後期的參數選擇(歸一化範圍的選取,降維算法的選取,以及最佳參數選取的算法)這些纔是關鍵,其實說白了如果這些您都搞得很透徹的話,選擇其他分類器也能做好,即這些(前期的數據預處理和後期的參數選擇)做好了,選擇神馬分類器真的並不重要,在libsvm-mat-2.89-3[FarutoUltimate3.0]工具箱中我把常見的數據預處理方法(歸一化,降維pca)和參數選擇算法(grid search 暴力搜索方法,啓發式GA、PSO方法)都封裝好了方便大家使用,同樣是用這個加強工具箱,但對於同一個測試數據集合,我敢保證肯定會有人用的效果就沒有我的好,爲啥捏?因爲知其然不知其所以然!肯定是其僅僅是瞭解一些表象的使用,而對於底層到底是怎麼回事沒有搞清楚,這樣在具體的參數調整上肯定是不行的,這也回答之前的“爲什麼總有朋友說用libsvm做分類或者回歸效果不好,我說把數據給我試一下,結果我做的效果一般都會比其要好”的原因。

如何可視化libsvm的分類結果【虛幻的浮雲~】
如何處理unbalanced label(不平衡數據標籤)問題【難點問題】



SVM相關雜帖(待完善)

交叉驗證(Cross Validation)方法思想簡介
http://www.matlabsky.com/thread-10567-1-1.html

SVM的多分類問題
http://www.matlabsky.com/thread-9471-1-1.html

MATLAB數據歸一化彙總(最全面的歸一化介紹)
http://www.matlabsky.com/thread-9268-1-1.html

LibSVM程序代碼註釋詳解
http://www.matlabsky.com/thread-9462-1-1.html

PSO資源整合工具箱
http://www.matlabsky.com/thread-9330-1-1.html

Matlab Toolbox for Dimensionality Reduction [降維工具箱]
http://www.matlabsky.com/thread-9335-1-1.html

TSVM(Transductive SVM)
http://www.matlabsky.com/thread-14257-1-1.html

Matlab神經網絡30個案例讀者交流羣
http://www.matlabsky.com/thread-14315-1-1.html


關於matlab中princomp的使用說明講解小例子【by faruto】
http://www.matlabsky.com/thread-11751-1-1.html

主成份分析PCA源代碼
http://www.matlabsky.com/thread-11750-1-1.html


SVM相關QQ討論羣整理
http://www.matlabsky.com/thread-11971-1-1.html
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章