離散化-等頻等距

離散化指把連續型數據切分爲若干“段”，也稱bin，是數據分析中常用的手段。切分的原則有等距，等頻，優化，或根據數據特點而定。在營銷數據挖掘中，離散化得到普遍採用。究其原因，有這樣幾點：
①算法需要。例如決策樹，NaiveBayes等算法本身不能直接使用連續型變量，連續型數據只有經離散處理後才能進入算法引擎。這一點在使用具體軟件時可能不明顯。因爲大多數數據挖掘軟件內已經內建了離散化處理程序，所以從使用界面看，軟件可以接納任何形式的數據。但實際上，在運算決策樹或NaiveBayes模型前，軟件都要在後臺對數據先作預處理。
②離散化可以有效地克服數據中隱藏的缺陷：使模型結果更加穩定。例如，數據中的極端值是影響模型效果的一個重要因素。極端值導致模型參數過高或過低，或導致模型被虛假現象“迷惑”，把原來不存在的關係作爲重要模式來學習。而離散化，尤其是等距離散，可以有效地減弱極端值和異常值的影響，
③有利於對非線性關係進行診斷和描述：對連續型數據進行離散處理後，自變量和目標變量之間的關係變得清晰化。如果兩者之間是非線性關係，可以重新定義離散後變量每段的取值，如採取0，1的形式， 由一個變量派生爲多個啞變量，分別確定每段和目標變量間的聯繫。這樣做，雖然減少了模型的自由度，但可以大大提高模型的靈活度。
即使在連續型自變量和目標變量之間的關係比較明確，例如可以用直線描述的情況下，對自變量進行離散處理也有若干優點。一是便於模型的解釋和使用，二是可以增加模型的區別能力。
等距:將連續型變量的取值範圍均勻劃成n等份，每份的間距相等。例如，客戶訂閱刊物的時間是一個連續型變量，可以從幾天到幾年。採取等距切分可以把1年以下的客戶劃分成一組，1-2年的客戶爲一組，2-3年爲一組..，以此類分，組距都是一年。
等頻:把觀察點均勻分爲n等份，每份內包含的觀察點數相同。還取上面的例子，設該雜誌訂戶共有5萬人，等頻分段需要先把訂戶按訂閱時間按順序排列，排列好後可以按5000人一組，把全部訂戶均勻分爲十段。
等距和等頻在大多數情況下導致不同的結果。等距可以保持數據原有的分佈，段落越多對數據原貌保持得越好。等頻處理則把數據變換成均勻分佈，但其各段內觀察值相同這一點是等距分割作不到的。
優化離散:需要把自變量和目標變量聯繫起來考察。切分點是導致目標變量出現明顯變化的折點。常用的檢驗指標有卡方，信息增益，基尼指數，或WOE(要求目標變量是兩元變量)
離散連續型數據還可以按照需要而定。比如，當營銷的重點是19-24歲的大學生消費羣體時，就可以把這部分人單獨劃出。
離散化處理不免要損失一部分信息。很顯然，對連續型數據進行分段後，同一個段內的觀察點之間的差異便消失了。同時，進行了離散處理的變量有了新值。比如現在可以簡單地用1,2,3..這樣一組數字來標誌雜誌訂戶所處的段落。這組數字和原來的客戶訂閱雜誌的時間沒有直接的聯繫，也不再具備連續型數據可以運算的關係。例如，使用原來的數據，我們可以說已有兩年曆史的客戶訂閱時間是隻有一年曆史客戶的兩倍，但經過離散處理後，我們只知道第2組的客戶的平均訂閱時間高於第一組客戶，但無法知道兩組客戶之間的確切差距。