RankSVM

    根據目前瞭解的跡象表明,RankSVM應該是T。T. Joachims. Optimizing search engines using clickthrough data. In KDD ’02:ACMSIGKDD.提出來的。後來O. Chapelle and S. Keerthi. Efficient algorithms for ranking with svms. Information Retrieval, 18, 2010. 提出primal SVM(PRSVM),提高了運算效率,應用在document retrieval 中。Bryan et al.BMVC2013 提出Ensemble RankSVM解決memory consumption問題,並應用於Person re-identification.

   下面重點總結一下將RankSVM應用於Personre-identification問題。

 

    在傳統svm中是找到分類超平面使正負例的分類間隔最大化,在ranking問題中不存在絕對的正負例,而是要使得正確匹配的得分x_{s}^{+}大於錯誤匹配的得分x_{s}^{-},即(x_{s}^{+}-x_{s}^{-})>0,並且使得(x_{s}^{+}-x_{s}^{-})最大化。

    定義查詢樣本x對於樣本xi匹配的得分x_{s}:  x_{s}=w^{T}|x-x_{i}| ; |x-x_{i}|表示每一維特徵都對於相減,得到差值向量。

    在識別階段就是利用此公式將目標樣本進行排序。

    現在講怎樣通過訓練得到w^{T},訓練集X={(xi,yi)},i=1,2,……m;xi爲特徵向量,yi爲+1或者-1。對於每一個訓練樣本xi,X中與xi匹配的正例樣本構成集合d_{i}^{+}=\left \{x_{i,1}^{+},x_{i,2}^{+}...x_{i,m^{+}}^{+}{}  \right \};

X中與xi匹不配的負例樣本構成集合d_{i}^{-}=\left \{x_{i,1}^{-},x_{i,2}^{-}...x_{i,m^{-}}^{-}{}  \right \};m^{+},m^{-}分別爲正負樣本數量,存在關係m^{+}+m^{-}+1=m。

    歸納起來,就是對訓練樣本集中每個樣本xi,都存在若干正負例的score pairwise,把訓練集中所有score pairwise的集合用P表示,即P={(x_{s}^{+},x_{s}^{-})},作爲訓練階段的輸入;

    以上前提下的RankSVM就可得到如下形式:

     MAX w^{T}(x_{s}^{+}-x_{s}^{-});

      s.t. w^{T}(x_{s}^{+}-x_{s}^{-})>0

即:min \frac{1}{2}\left \| w \right \|^{2}+C\sum_{s=1}^{\left | P \right |}\xi _{s}

     s.t. w^{T}(x_{s}^{+}-x_{s}^{-})\geq 1-\xi _{s}。

 

     以上就是RankSVM的基本思想,實際中由於訓練集的正負裏數量都比較大時,會存在計算複雜度的問題。chapelle et al.2010提出無約束模型的PRSVM提高了計算效率:

w=\underset{w}{argmin}\frac{1}{2}\left \| w \right \|^{2}+C\sum_{s=1}^{\left | P \right |}\iota (0,1-w^{T}(x_{s}^{+}-x_{s}^{-});

    Prosser et al. 2011在此基礎上提出了 ensemble RankSVM,利用Boosting思想,將樣本集分成若干子集,分別訓練若類器weak RankSVMs: w_{i},通過學習不同weak RankSVMs的權值\alpha_{i},組合成最優RankSVM:

    w_{opt}=\sum_{i}^{N}\alpha _{i}.w_{i}

   

   

   

   

   

 

 

 

 

   

    .

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章