《統計學習方法》中關於SMO算法的一些理解

1.SMO即序列最小最優化,(sequential minimal optimization),用於利用核函數求解非線性問題的SVM的最優化問題。求解的輸出結果就是每個支持向量所對應的參數αi(這個參數是拉格朗日函數中引入的,個人理解下,這個α所代表的就是每個支持向量在模型中起到的影響因子,因爲這個αi的表達式中有一向內積,內積也可以表示兩個向量的相關性,相關性越高則這個內積就越大)。

2.書中直接給出了每次更新後的解析解,根據斯坦福的機器學習課程的解釋,實際上這個值是通過求解二次函數在方形約束上的最值問題得到的,由於考慮到二次函數的最值是與求解區域有關,若函數頂點落在方形區域中間,則可以取到頂點處的值,否則只能取到方形約束兩端的值。

3.方形約束是根據約束條件得到的,這個C是代表了軟間隔中的懲罰因子。

4.方形約束中的直線是通過另一個約束條件得到的

5.書中的L及H的取值是根據直線與方形約束框的交點對應的α取值得到的,通過比較C與直線在邊界上的參數值的大小得到。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章