概念
首先看一下維基百科中關於特徵選擇的介紹：
在機器學習和統計學中，特徵選擇 也被稱爲變量選擇、屬性選擇 或變量子集選擇 。它是指：爲了構建模型而選擇相關特徵（即屬性、指標）子集的過程。
在機器學習中，每個特徵對於目標類別的影響並不相同，所以需要從特徵集中挑選出一組最具統計意義的特徵子集，把其他無用數據刪掉，達到降維的目的。
特徵選擇的目標是尋找最優特徵子集。特徵選擇能剔除不相關(irrelevant)或冗餘(redundant )的特徵，從而達到減少特徵個數，提高模型精確度，減少運行時間的目的。另一方面，選取出真正相關的特徵簡化模型，協助理解數據產生的過程。
常用的特徵選擇方法分爲過濾法(Filter)、包裝法(Wrapper)和集成法(Embedded)
下面有個清晰的特徵工程的思維導圖：
圖片源自（http://www.csuldw.com/2015/10/24/2015-10-24%20feature%20engineering/）
過濾法(Filter)
按照發散性或者相關性對各個特徵進行評分，設定閾值或者待選擇閾值的個數，選擇特徵
方差選擇法
使用方差選擇法，先要計算各個特徵的方差，然後根據閾值，選擇方差大於閾值的特徵。默認設置下，它將移除所有方差爲0的特徵，即那些在所有樣本中數值完全相同的特徵。
相關係數法
使用相關係數法，先要計算各個特徵對目標值的相關係數以及相關係數的P值。
卡方檢驗
經典的卡方檢驗是檢驗定性自變量對定性因變量的相關性。
互信息法
經典的互信息也是評價定性自變量對定性因變量的相關性的
filter（刷選器）優缺點
上面提到的這種特徵子集選擇的方法屬於filter（刷選器）方法，它主要側重於單個特徵跟目標變量的相關性。優點是計算時間上較高效,對於過擬合問題也具有較高的魯棒性。缺點就是傾向於選擇冗餘的特徵,因爲他們不考慮特徵之間的相關性,有可能某一個特徵的分類能力很差，但是它和某些其它特徵組合起來會得到不錯的效果。
包裝法(Wrapper)
根據目標函數（通常是預測效果評分），每次選擇若干特徵，或者排除若干特徵。有逐步迴歸（Stepwise regression）、向前選擇（Forward selection）和向後選擇（Backward selection）
遞歸特徵消除法
遞歸消除特徵法使用一個基模型來進行多輪訓練，每輪訓練後，消除若干權值係數的特徵，再基於新的特徵集進行下一輪訓練
wrapper（封裝器）優缺點
封裝器用選取的特徵子集對樣本集進行分類，分類的精度作爲衡量特徵子集好壞的標準,經過比較選出最好的特徵子集。常用的有逐步迴歸（Stepwise regression）、向前選擇（Forward selection）和向後選擇（Backward selection）。它的優點是考慮了特徵與特徵之間的關聯性，缺點是：當觀測數據較少時容易過擬合，而當特徵數量較多時,計算時間又會增長。
集成法(Embedded)
集成法，先使用某些機器學習的算法和模型進行訓練，得到各個特徵的權值係數，根據係數從大到小選擇特徵。類似於Filter方法，但是是通過訓練來確定特徵的優劣。Regularization，或者使用決策樹思想，Random Forest和Gradient boosting等
基於懲罰項的特徵選擇法
使用帶懲罰項的基模型，除了篩選出特徵外，同時也進行了降維。
基於樹模型的特徵選擇法
樹模型中GBDT也可用來作爲基模型進行特徵選擇
特徵選擇－有效性分析
對特徵的有效性進行分析，得到各個特徵的特徵權重，根據是否與模型有關可以分爲1.與模型相關特徵權重，使用所有的特徵數據訓練出來模型，看在模型中各個特徵的權重，由於需要訓練出模型，模型相關的權重與此次學習所用的模型比較相關。不同的模型有不同的模型權重衡量方法。例如線性模型中，特徵的權重係數等。2.與模型無關特徵權重。主要分析特徵與label的相關性，這樣的分析是與這次學習所使用的模型無關的。與模型無關特徵權重分析方法包括(1)交叉熵，(2)Information Gain，(3)Odds ratio，(4)互信息，(5)KL散度等
資料引用
本文是自己在學習過程中，閱讀博客整理而來，大部分是直接摘取自他人內容，如有侵權，請告知刪除，有些引用內容有所遺漏，沒有註明，請告知。
http://www.csuldw.com/2015/10/24/2015-10-24%20feature%20engineering/
