機器學習模型應用到銀行業等金融領域時，需要保證其安全可靠。目前學術界已研究出一些基本的模型事後解釋方法，旨在解決機器學習“黑箱”問題，加速AI技術在業界的深度融合與應用。索信達AI實驗室致力於可解釋機器學習模型的研究與推廣，在內在可解釋模型、事後歸因解析方法等方面已有一些成果與應用。我們將通過本文介紹部分事後歸因解析方法，解密黑箱模型。
在可解釋機器學習領域，獲取可解釋性最簡單的方法是使用傳統的可解釋統計模型，如線性迴歸、邏輯迴歸、決策樹模型等。然而，傳統統計模型卻往往有精度低的弊端，爲了追求更高的精度，人們往往選用現在比較流行的一些機器學習模型，其中包含黑箱模型。
黑箱模型精度很高，但可解釋性差，人們無法知道爲什麼模型給出了這個結果，更不清楚如何判斷結果的合理性。爲了解決這個問題，科學家們提出一種與模型無關的可解釋方法（model-agnostic interpretable）。它能夠在模型訓練完成後解析出部分可解釋性質，從而擺脫了模型本身的限制。
我們將分三部分介紹幾個與模型無關的可解釋方法：
（一）VI、PDP、ICE、ALE
（二）LIME
（三）SHAP
本文將介紹第一部分。除了闡明相關原理，爲了演示與模型無關的可解釋方法，我們從Blockchain.org下載了一組比特幣近兩三年的價格數據，以及與之相關的貨幣交易統計、區塊信息、採礦信息、網絡活動等多維度特徵數據。作爲一種典型黑箱模型，XGBoost被用來建立多維特徵與比特幣價格之間的預測關係，訓練得出的R方高達0.9795。下面我們將用不同方法對模型結果進行歸因解析。
1 變量重要性
變量重要性（Variable Importance）也被稱爲特徵重要性（Feature Importance），指的是當某個變量的值發生改變後，模型在預測表現上的差異。如果一個特徵非常重要，它對模型精度的影響會很大。通過對一個模型的特徵重要性進行排序，就可獲得對模型的全局解釋。
在與模型無關的幾種特徵重要性判斷方法中，我們舉例介紹一種“置換特徵重要性”算法（Permutation Feature Importance Algorithm），其基本過程如下：
-
已知：訓練出的模型，特徵矩陣，目標變量以及損失函數；
-
通過損失函數計算出原始模型誤差；
-
對於特徵矩陣中的每一個特徵:
- 隨機置換該特徵的取值，從而得到了一個新的置換特徵矩陣。由於改變了原有特徵的值，該特徵與目標變量之間的原有關係被打破；
- 使用新的置換特徵矩陣得到模型預測值，並計算出置換模型的誤差；
- 通過計算置換模型誤差和原始模型誤差的差異來反映特徵重要度。
-
將計算出的每個特徵的特徵重要度按降序排列。
下圖顯示的是基於比特幣數據集的Xgboost模型變量重要性排行榜。從中我們能清晰地看出區塊信息“區塊總大小”這個變量極其重要，其次是交易量、平均區塊大小等等。
這種方法能夠針對模型提供一種高度濃縮、全局化的解釋。但是，當特徵變量之間高度相關時，置換特徵重要性的方法會產生一定程度的偏差。
2 部分依賴圖
部分依賴圖簡稱PDP，能夠展現出一個或兩個特徵變量對模型預測結果影響的函數關係：近似線性關係、單調關係或者更復雜的關係。
給定任意黑箱模型，定義一個部份依賴函數：
其中，$x_s$ 表示我們所感興趣的特徵變量，$x_c$表示所有其他變量。通過對$x_c$進行積分，我們得到一個只依賴於$x_s$的函數$f(x_s)$。該函數即爲部份依賴函數，它能夠實現對單一變量$x_s$的解釋。
在實際操作中，我們通常使用蒙特卡洛方法，通過計算訓練集的平均值，來得到部分依賴函數，具體公式如下圖所示，其中n表示樣本容量。
單一變量PDP圖的具體實施步驟如下：
- 挑選一個我們感興趣的特徵變量，並定義搜索網格；
- 將搜索網格中的每一個數值代入上述PDP函數中的$x_s$，使用黑箱模型進行預測，並將得到的預測值取平均。
- 畫出特徵變量的不同取值與預測值之間的關係，該圖即爲部分依賴圖。
以比特幣數據集爲例，我們使用PDP方法對XGBoost模型結果進行解析。下圖刻畫的是單變量“區塊大小”與比特幣價格之間的函數關係。這是一個典型的非線性關係：當“區塊大小”在12000-15000範圍內增長時，比特幣價格逐漸上漲；隨着“區塊大小”的進一步增長，會對比特幣價格產生負向影響，直到區塊大小高於20000時，又會對比特幣價格產生正向影響。
PDP圖的優點在於易實施，缺點在於不能反映特徵變量本身的分佈情況，且擁有苛刻的假設條件——變量之間嚴格獨立。若變量之間存在相關關係，會導致計算過程中產生過多的無效樣本，估計出的值比實際偏高。另一個缺點是樣本整體的非均勻效應（Heterogeneous effect）：PDP只能反映特徵變量的平均水平，忽視了數據異質對結果產生的影響。
3 個體條件期望圖
個體條件期望圖（ICE Plot）計算方法與PDP類似，它刻畫的是每個個體的預測值與單一變量之間的關係。個體條件期望圖消除了非均勻效應的影響，它的原理和實現方法如下：對某一個體，保持其他變量不變，隨機置換我們選定的特徵變量的取值，放入黑箱模型輸出預測結果，最後繪製出針對這個個體的單一特徵變量與預測值之間的關係圖。
繼續以上述比特幣數據爲例，下圖反映的是“區塊大小”對比特幣價格影響的ICE圖，其中淺藍色線反映的是每個個體的條件期望圖，深藍色線反映所有個體的平均水平。從圖中可看出所有個體並不一定遵循相同的變化趨勢，因此相較於PDP的一概而論，ICE圖能夠更準確地反映特徵變量與目標之間的關係。
如果想要比較不同個體間的差異，需要將他們的起始點進行“統一”，這就是所謂的“中心化ICE圖”，如下圖所示。
ICE圖的優點在於易於理解，能夠避免數據異質的問題。在ICE圖提出之後，人們又提出了衍生ICE圖，能夠進一步檢測變量之間的交互關係並在ICE圖中反映出來。
ICE圖的缺點在於只能反映單一特徵變量與目標之間的關係，仍然受制於變量獨立假設的要求，同時ICE圖像往往由於個體過多導致圖像看起來過於冗雜，不容易獲取解釋信息。
4 累積局部效應圖
累積局部效應圖（Accumulated Local Effects plot），用於描述特徵變量對預測目標的平均影響。ALE最大的特點是擺脫了變量獨立性假設的約束，使其在實際環境中獲得了更廣泛的運用。
若兩個特徵變量之間存在相關性，要剝離出單一特徵變量對目標的純粹影響，一種方法是利用條件分佈計算出預測值並對結果取平均。舉例來說，若$X_1$與$X_2$相關，想要計算出$X_2$對於目標的影響，需先固定$X_1$並構建一個條件分佈函數，如$P(X_2│X_1=0.75)$，再放入模型計算出預測值，從而達到“固定僅反映$X_1$與$X_2$預測值之間關係”的目標。這種方法看似有效，但實際卻存在問題，它真正反映出的是$X_1$與$X_2$的聯合效應與預測值之間的關係。
下面介紹ALE的原理：通過計算局部效應來消除相關性的干擾。仍以比特幣數據爲例，探究“區塊大小”與比特幣價格之間的關係。由於“區塊大小”和“（挖礦）難度”之間存在相關性，我們的目標是找出“區塊大小”與預測值之間純粹的影響關係。首先，計算出特徵變量“區塊大小”在某一點對預測值的影響：如下圖所示將空間劃分成一系列區間，假設某一點落在N(7)這個區間內，使用模型計算出該區間左右兩個邊界點處的預測值，兩個預測值相減後的差值即能反映出變量在這一點對目標的影響大小。鑑於每一個小區間內通常會存在多個樣本點，此時將他們的預測結果取平均，便能得到該區間內“區塊大小“與比特幣價格之間的關係。
這種方法之所以能夠消除變量相關性的影響是因爲在一個小的區間內，相關變量的取值基本不變，兩個邊界點預測值的差別僅僅來自於變量“區塊大小”取值的差別。因此，特徵變量的純粹影響能夠被剝離出來。這種方法就叫做局部效應法（Local Effect）。
要獲知某單一變量在整個值域上對預測值的影響，需要進一步引出累積局部效應法（Accumulated Local Effect）。累積局部效應法將單個局部效應進行累積，能夠反映單一特徵變量對預測結果的整體影響情況。
下面舉例說明：在比特幣數據集中，變量“區塊大小”與“（挖礦）難度”之間呈強相關關係，相關係數超過0.95。若研究單變量對目標的影響，則PDP、ICE兩種方法不再適用。使用ALE方法處理後能得到如下所示的圖。相較於前文的PDP圖，ALE圖置信區間更窄，精確度更高。
同時，使用ALE方法也可以研究具有強相關性的兩個變量對目標的聯合效應。以比特幣數據爲例，“哈希率”和“（挖礦）難度”之間存在強相關性，他們對比特幣價格的聯合效應如下圖所示：紅色代表比特幣價格高於平均值，藍色代表比特幣價格低於平均值。這張圖反映出了“哈希率”與“（挖礦）難度”之間的交互關係：挖礦難度較大且哈希率較高（大於0.8）會提高比特幣價格。當哈希率處於0.5-0.7的範圍且挖礦難度較大時，會降低比特幣價格。
綜上，ALE方法有三個優點：第一，ALE方法做出的圖是無偏的。由於ALE能夠處理特徵之間的相關關係，做出的圖像不會受到聯合效應的影響。第二，ALE的計算速度比PDP快，需要計算的次數少於PDP。第三，ALE圖的解釋非常清晰明瞭。由於剝離了相關變量的影響，人們可以很容易對特徵變量和模型結果進行解釋。
ALE方法同樣存在一些問題，比如如何去確定區間，到底確定多少個區間比較合適等等，都是需要進一步的研究與探討。
5 總結
上述介紹的VI、PDP、ICE和ALE是“與模型無關的解釋方法”中最基本、最常用的四種。四種方法各有利弊，人們可以針對實際的業務場景有選擇性地應用這些方法，從而達到技術與業務相結合、一加一大於二的效果。