GBDT+LR特徵融合的例子

sklearn直接使用.apply即可完成，下面看下簡單的例子，GBDT+LR融合後比直接使用GBDT預測，AUC提升了0.004

import pandas as pd

from sklearn.linear_model import LogisticRegression

from sklearn.ensemble import GradientBoostingClassifier

from sklearn.preprocessing import OneHotEncoder


# 導入數據

X = pd.read_table('vecs_new.txt',header=None,sep=',')

y = pd.read_table('labels_new.txt',header=None)


# 切分爲測試集和訓練集，比例0.5

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5)

# 將訓練集切分爲兩部分，一部分用於訓練GBDT模型，另一部分輸入到訓練好的GBDT模型生成GBDT特徵，然後作爲LR的特徵。這樣分成兩部分是爲了防止過擬合。

X_train, X_train_lr, y_train, y_train_lr = train_test_split(X_train, y_train, test_size=0.5)


# 弱分類器的數目

n_estimator = 10

# 調用GBDT分類模型

grd = GradientBoostingClassifier(n_estimators=n_estimator)


# 調用one-hot編碼。

grd_enc = OneHotEncoder()


# 調用LR分類模型。

grd_lm = LogisticRegression()


#使用X_train訓練GBDT模型，後面用此模型構造特徵

grd.fit(X_train, y_train)


#直接進行預測，查看AUC得分

y_pred_grd = grd.predict_proba(X_test)[:, 1]

fpr_grd, tpr_grd, _ = metrics.roc_curve(y_test, y_pred_grd)

roc_auc = metrics.auc(fpr_grd, tpr_grd)

print 'predict',roc_auc


# fit one-hot編碼器

grd_enc.fit(grd.apply(X_train)[:, :, 0])


#使用訓練好的GBDT模型構建特徵，然後將特徵經過one-hot編碼作爲新的特徵輸入到LR模型訓練。

grd_lm.fit(grd_enc.transform(grd.apply(X_train_lr)[:, :, 0]), y_train_lr)


# 用訓練好的LR模型多X_test做預測

y_pred_grd_lm = grd_lm.predict_proba(grd_enc.transform(grd.apply(X_test)[:, :, 0]))[:, 1]


# 根據預測結果輸出

fpr_grd_lm, tpr_grd_lm, _ = metrics.roc_curve(y_test, y_pred_grd_lm)

roc_auc = metrics.auc(fpr_grd_lm, tpr_grd_lm)

print 'predict',roc_auc


print("AUC Score :",(metrics.roc_auc_score(y_test, y_pred_grd_lm)))

參考：
http://blog.csdn.net/xidianliutingting/article/details/53911462
http://blog.csdn.net/lilyth_lilyth/article/details/48032119
http://www.cnblogs.com/wuxiangli/p/7259253.html
http://www.cbdio.com/BigData/2015-08/27/content_3750170.htm