01 背景和問題
目前，模型開發的流程越來越規範化，通常可以分爲業務分析、樣本準備、特徵工程、模型構建、模型評估及監控這幾個步驟。其中，特徵工程和模型構建在建模的整個流程中依然非常耗時，並且非常依賴於模型開發者對業務的理解及數據處理的能力。
在目前實際業務場景下，面臨的最大的一個問題是，如何快速地構建起一個質量相對不錯的模型，以適應業務的快速發展。傳統的風控建模週期較長，通常要20天左右的時間才能達到上線的要求。其中，特徵工程的耗時在整個建模過程中會佔到大約60%的時間，且這個過程的挑戰就是人工提取特徵的複雜性和高時間耗費性。自動化特徵工程能夠對必要而繁瑣的工作進行自動化處理，從而優化機器學習模型的構建和部署，這樣模型的開發者就可以更多地關注其他重要步驟。另一方面，模型開發過程的耗時在整個建模過程中會佔到大約30%的時間。這個過程的難點並不在於給出一個模型，而是在於同時比較多種模型甚至多種模型組合後，選出效果最佳的模型做主決策模型，其餘的模型可以作爲備用模型或者比較對象。這個過程如果用人工去實現，也會消耗非常多的時間，並且效果不一定最優。
基於這樣的背景，融360推出的自動化特徵工程和自動建模的方案，把建模過程中耗時最長的特徵工程部分和模型開發部分抽象出了一套自動化工具。不僅集成了自動特徵工程，還對建模過程中變量的篩選、建模調優、部署上線和模型監控進行了模塊化的封裝。該工具有如下優點：
① 大幅提升建模效率和標準化程度；
② 節約人力成本和時間成本；
③ 快速達到業務方要求；
④ 有利於嘗試更多的模型方案和模型快速更新迭代。
通過自動化特徵工程和自動建模方案後，模型從開發到上線的時間大幅減少，可以縮短至5天左右，不僅簡化了開發流程，提升了開發效率，準確率方面也保持較高水準。
--
02 自動化特徵工程
首先，我們先來看一下手動特徵工程是如何完成特徵工程這個過程的。人工構建特徵工程主要依賴領域知識來構建特徵，一次只能產生一個特徵，這是一個繁瑣，費時又易出錯的過程。此外，每次進行特徵工程的代碼是針對特定業務和特定場景的。當我們面對新的需求、新的數據源時，我們需要重構特徵，重新進行開發，耗時長效率低。
因此，特徵工程若要能夠實現自動化和標準化，其數據在結構上必須要具有一定的相似性和共通性。根據美國數據庫營銷研究所Arthur Hughes的研究，客戶數據庫中有三個神奇的要素，這三個要素構成了數據分析最好的指標：
① 最近一次消費(Recency)；
② 消費頻率(Frequency)；
③ 消費金額(Monetary)。
在衆多的客戶關係管理(CRM)的分析模式中，RFM模型是被廣泛提到的。RFM模型是衡量客戶價值和客戶創利能力的重要工具和手段。該模型通過一個客戶的近期購買行爲、購買的總體頻率以及花了多少錢三項指標來描述該客戶的價值狀況。
在融360的業務場景下，更多的數據是交易級別的數據。那麼，根據RFM模型構建出來的特徵通常包含基本的統計變量，趨勢型的變量等。例如，通話的時間段可以分爲白天或者夜晚，通話類型可以分爲主叫、被叫或者未接，交易金額總和、次數等等，這些都屬於統計型變量。而類似於近3個月比近6個月的通話次數減少了多少，這是趨勢型變量。
不僅是結構化數據，在關係網絡中也可以通過RFM模型構建特徵。如下圖所示是一個簡單的關係網絡。應用RFM模型，可以構建出例如某用戶有多少1度聯繫人，1度聯繫人中是否有過借貸行爲，平均借款金額，以及其中有多少人有逾期記錄等特徵。
綜合以上分析過程，可以將自動化特徵工程的過程抽象成如下圖所示的框架。首先，根據不同的數據類型，採取不同的處理方式。如果是分類變量，可以切分成不同的數據模塊，用統計型或者標識型的方法去處理，完成第一層的聚合運算，生成基本的統計特徵。那麼在第二層中，會對基本的統計特徵採取比值計算和趨勢計算的一些方法，衍生出新的變量。
回顧特徵工程的整體過程，有了自動化特徵生成工具之後，模型開發者關注的重點不再是構建能夠通過簡單運算得到基本的統計特徵，而是能夠有更多的時間關注數據本身。而需要人工處理的部分僅是從原始數據到把數據標準化的過程，後續的特徵自動組合、計算，以及評估到輸出都實現了自動化的過程。
下圖所示是某項目中，自動化特徵工具和人工構建特徵在同一數據集上的比較。可以看到，自動化特徵相對人工特徵效果明顯提升且耗時更短。當然，開發自動化特徵工具的目標並不是爲了替代人工，而是希望自動化特徵工具能夠快速並且準確地提供一版基礎特徵，從而把人力更多地投入到對原始數據的理解以及對業務分析中，或者構建出更多衍生的特徵。
--
03 自動建模
儘管不同的數據樣本和不同的模型選擇，得到的結果會有較大差異。但各項指標綜合來看，目前不管是國內外的數據競賽，或者是迴歸到公司業務本身，xgboost和lightGBM依然是適用性最好，表現最優的算法之一。而在信貸場景下，LR因其較好的解釋性，也被廣泛使用。因此，自動化建模工具整合了常用的算法，針對建模過程中通用性較高的部分進行了模塊化的封裝。這樣極大地提升了開發效率，並且可以將更多的時間用於嘗試不同的模型。
1.自動特徵選擇部分：
首先，自動通過EDA(Exploratory Data Analysis)對特徵進行初步篩選，例如篩選掉缺失率較高，方差恆定不變，在時間維度上不夠穩定等特徵。其次，自動綜合多種常用算法和規則，進一步篩選出有效的特徵。例如：
① IV值篩選；
② 樹模型輸出重要性；
③ 共線性篩選。
最後，選擇出綜合排序TopN，以及各個類別中排名靠前的特徵。可以把幾千維度的特徵降低到幾百個維度的範圍內，並且在減少特徵的同時，保留特徵的多樣性。
2.建模部分
邏輯迴歸模型(LR)
LR在信貸場景下，通常用於構建評分卡模型。首先回顧一下邏輯迴歸實現評分卡的理論基礎。
一個事件發生的機率(odds)，是指該事件發生與不發生的概率的比值。若一個用戶違約的概率是p，則其正常的概率爲1-p。可以得到：
此時，客戶違約的概率p可以表示爲：
而評分卡的表達式爲：
其中，A和B爲常數。通過給定 （1）某特定Odds時的Score值（2）該特定Odds值翻倍時Score增加值，帶入評分卡表達式即可求得A、B。
而根據邏輯迴歸的原理可推導出該事件的對數機率如下：
因此，構建評分卡的問題轉化爲利用邏輯迴歸模型求概率的問題，最後根據概率轉化成評分卡的分數。
構建評分卡模型中最關鍵的步驟是WOE分箱，分箱的好壞直接影響最後模型的效果。傳統的處理方式是，人工根據特徵的業務含義，對特徵進行一些粗分箱。抽象成自動化工具後，統一對特徵進行等頻分箱後做WOE變換，並且進行單調性檢測。同時，也保留了人工操作的接口，可以自由調整分箱的邊界，達到更優的效果。
- XGBOOST
xgboost是目前應用最廣泛的算法之一。不僅在多種競賽場合取得非常好的成績，在工業界也有廣泛應用。在自動化建模的過程中，爲了能讓xgboost發揮出更好的效果，需要針對入模變量做額外的預處理。連續變量雖然可以直接入模，但爲了減少過擬合，依然對連續變量進行了分箱處理。而分類變量則不能直接入模，可以通過決策樹進行分箱的操作，或者通過各種編碼方式對變量進行轉換，例如標記編碼，one-hot編碼等等。
除了對入模的特徵實現預處理，自動化建模工具還集成了更全面的調參方法，包括：設置多組經驗參數、GridSearch、RandomSearch等，這個過程也是人工調參中耗時較長且重複性較高的步驟之一。
--
04 自動化模型評估與監控
在完成模型開發後，最重要的一個環節就是模型評估與模型的監控。在各種數據競賽中，評估一個模型的好壞，通常會用AUC、KS等指標。但在實際場景中，模型上線後需要關注的不僅僅是這些模型的評估指標。更加需要關注的是模型整體的排序性和穩定性。在不同的業務場景下，對模型的要求也不一樣。例如，在欺詐檢測的場景下，會希望模型在低分段有更好的區分度。反之，如果要做授信額度策略，則會期望模型在高分段有更好的區分度。
自動化模型評估在實現全面、細緻、快速地評估模型效果方面，主要涵蓋了以下三個方面：
① 跨維度：變量維度、模型分維度；
② 跨樣本：Train、Test、OOT、Early Performance等；
③ 跨模型：當前線上模型、不同版本新模型。
跨維度層面，包括對特徵的監控以及特徵對模型結果的影響。除了關注模型的基本監控指標AUC、KS、PSI、Ranking等，在變量維度，還會關注變量隨着時間的變化，排序性是否下降，PSI是否升高，以及特徵是否對模型結果產生了負面影響等因素。
跨樣本層面，由於在模型開發的過程中，經常會使用比較成熟的表現期的樣本，例如MOB6進行建模，但在評估模型的時候，可以用MOB1的樣本進行跨期測試，用來判斷模型的早期效果。
跨模型層面，不同的模型有不同參數，會針對不同的模型進行比較。看當前線上的模型和新版本模型之前的效果差異。
最後，根據以上三個維度的評估，會進行加權求和，輸出模型最終的綜合評分以及模型相關內容的文檔，包括模型表現的彙總、特徵分箱的結果、變量的PSI、變量與逾期率的關係等內容。
--
05 模型部署上線及線上監控
相較於傳統的寫python腳本完成從訓練、預測到輸出結果的模型上線方式，目前更常用的方法是輸出模型文件，線上的部署環境支持讀取和調用模型文件。但融360開發了針對模型部署的平臺，省略了開發模型部署的腳本。模型自動輸出配置文件，只需將配置文件放如新模型的文件夾中，就可以輕鬆完成上線部署，實現自動評分。並且配置文件具有簡潔和良好的可讀性等優點。
模型上線後的線上監控也是非常重要的環節之一。如果模型的監控僅依賴於各個模型的owner，那麼會產生非常多的問題，例如不能及時發現AUC、PSI等模型指標的變化，缺失對特徵變化的監控，模型何時需要重新訓練，更新迭代等等。針對這些問題，融360開發了自動化模型監控工具，實現標準輸入，標準輸出。新模型配置監控不再需要重寫代碼，只需配置文件即可。
模型的每日監控會與模型上線時候的指標做對比。一方面，整體監控KS、AUC、PSI、排序性等指標是否發生變化，另一方面，關注每個變量在訓練時的分箱與上線後的分箱的差異，看特徵的分佈是否發生了偏移，實現自動預警。
當監控發生報警時，會提醒模型開發者哪些地方出現了問題，從而能夠及時響應。例如，當變量發生偏移的時候，考慮是否是數據源發生了波動，業務客羣是否發生變化，是否需要與產品團隊、策略團隊進行對接等問題。
最後，模型的監控以三種形式輸出：監控週報、定時預警以及模型效果可視化。
今天的分享就到這裏，謝謝大家。
本文首發於微信公衆號“DataFunTalk”。