LIME技術個人總結和理解

方法:

干涉輸入,然後觀察預測結果會怎樣變化。

實驗表明這種做法在可解釋性上是有用的。

因爲我們可以通過改變人類可以理解的組件(比如單詞或圖像的一部分)來改變輸入,即使模型使用的是更加複雜的組件(比如詞向量)作爲輸入的特徵。

LIME 背後的關鍵直覺就是,通過一個簡單的模型來局部地(在我們想要解釋的預測的附近)逼近一個黑箱模型會比全局性地去逼近這個模型要容易得多。

怎麼實現?(通過給改變後的輸入圖像設定權重的方式來實現, 權重的值是改變後的圖形和我們想要解釋的實例的相似度的值。)

圖 3 所示的例子說明了LIME在圖像分類上是如何工作的。假設我們想解釋一個可以預測圖片中是否包含樹蛙的分類器,我們可以藉助右邊被分解成可解讀的組件(連續超像素)的圖像。

640?wx_fmt=jpeg

 

超像素---番外篇解釋

超像素:有一系列 位置相鄰的 比如顏色, 紋理,亮度等特徵相近的 連續小區域。

如圖 4 所示,我們通過“隱藏”一些可解讀組件生成一個修改過的實例的數據集(在這個例子中是將隱藏的組件都設置成灰色)。對於每一個被修改過的實例,模型都會以一定概率判斷圖像實例是否包含樹蛙。然後我們就在這個局部加權的數據集上得到了一個簡單的(線性)迴歸模型,而我們更關心在更接近原始圖像的修改過的實例上出現的錯誤。最後,我們給出帶有最高正權重的超像素作爲解釋,將其它部分都改成灰色。
 

640?wx_fmt=jpeg

圖4:用LIME解釋一個預測。圖片來源:Marco Tulio Ribeiro和Pixabay

第二個例子是解釋谷歌的Inception神經網絡模型對圖像做的分類。如圖 6所示,分類器預測這個圖像是“樹蛙”類的概率最高,而“檯球”和“氣球”的概率低一些。我們的解釋揭示該分類器主要專注於蛙的面部作爲此預測分類的依據。它也說明了爲什麼“檯球桌”有非零概率,因爲青蛙的爪子和眼與檯球非常地相似,特別是在綠色背景下。同樣,紅色的心臟也和紅氣球類似。 
 
圖6:解釋Inception神經網絡模型生成的預測。頭三名預測結果是“樹蛙”、“檯球桌”和“氣球”。圖片來源:Marco Tulio Ribeiro和Pixabay提供的樹蛙、檯球和熱氣球圖片。 
我們論文所述的實驗表明機器學習專家和普通人都能從類似於圖5和圖6 這樣的解釋中獲益。能夠選擇哪個模型泛化的更好,能夠通過改變模型對模型進行改進,以及獲得模型行爲的關鍵洞察。

640?wx_fmt=jpeg

 

原作者論文:https://arxiv.org/pdf/1602.04938.pdf

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章