二進制思想與特徵選擇

從這篇博文得到的啓發 從N個數中取出任意個數,求和爲指定值的解,二進制版本和通用版本

常見的特徵選擇方法有Filter方法和Wrapper方法。

Filter方法

• 核心思想是利用某種評價準則給特徵打分選擇分數高的特徵作爲特徵子集
• 特點:性能只依賴於評價準則的選取,時間複雜度低,速度很快;但是分類精度較低

Wrapper方法

• 在篩選特徵的過程當中直接利用所選的特徵來訓練分類器,根據這個分類器在驗證集上的分類精度來評價所選擇的特徵。
• 特點:分類準確率高,特徵子集性能較好,但是性能對學習算法依賴性高,耗時較長

這兒不講Filter方法,說一說Wrapper方法:

把特徵集合的所有可能組合都去訓練分類器,以分類器的分類精度作爲對特徵組合的評價指標,選擇分類精度最高的特徵組合

關鍵詞:組合,像不像上一篇博文裏面的數組裏面幾個數的組合?目標從幾個數之和等於一個目標值變成某個特徵組合的分類精度最高。

某個特徵選不選就和某個數的選不選一樣了呀,選爲1,不選爲0.這是一個0/1整數規劃問題。學術界應該有許多方法可以解決。

更像的類比是數組裏面有正數有負數,求一個組合讓組合之和最大且組合裏面的元素最少。當然 這個問題一眼就知道所有非0整數加起來。

那麼換個思路,負數類比成對分類效果有負面作用的,正數類比成對分類效果有正面作用的。這個思路還要琢磨琢磨,因爲很難判斷一個特徵起正面作用還是負面作用。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章