Explainable AI是什麼
我們希望，機器不僅要知道“是什麼”還要知道“爲什麼”，或者說機器不僅要給出答案還要給出explanation。
Explanation可以分爲兩類：
-
Local Explanation
假定在圖片分類任務中有一張圖片，要求機器說明爲什麼它認爲這張圖片是某個類別(比如“cat”)。
-
Global Explanation
假定在圖片分類任務中，要求機器說明它認爲一個類別(比如“cat”)是什麼樣子，而非針對一張圖片進行解釋。
Explainable AI有什麼用
在使用機器挑選簡歷時，我們需要知道機器爲什麼選擇某份簡歷(性別?還是實力)。
在使用機器判定罪犯是否可以假釋時，我們需要知道機器爲什麼判定是或否(實證?還是膚色)。
在使用機器判定是否給某人貸款時，我們需要知道機器爲什麼判定是或否。
通過Explainable AI，我們可以知道模型學到了什麼從而進行模型診斷，對模型進行改進和調整。我們不僅只關注模型在數據集上的精確度，還需要進行模型診斷，因爲有可能精確度很高但實際上機器什麼都沒學到。
Explainable AI是否有必要
李宏毅老師認爲Explainable AI的目標並非完全理解模型是如何work的，而是爲了讓人感到comfortable。
因爲深度學習是一個黑盒所以有些人認爲深度學習不可信，這有些因噎廢食。人腦等很多事物對現在的人類來講都也還是黑盒，完全理解模型的work機理不是必要的，因爲某些東西是黑盒就不使用它也不行。
Explainable AI其實就是爲了使老闆、客戶、自己等感到comfortable，甚至對不同人也應該有不同的解釋。
Interpretable VS Powerful
決策樹既是interpretable又是powerful的，但當分支特別多的時候決策樹的表現也會很差，這時可以使用Random Forest或者XGBoost，但它們雖然powerful但不interpretable。
Github（github.com）：@chouxianyu
Github Pages（github.io）：@臭鹹魚
知乎（zhihu.com）：@臭鹹魚
博客園（cnblogs.com）：@臭鹹魚
B站（bilibili.com）：@絕版臭鹹魚
微信公衆號：@臭鹹魚
轉載請註明出處，歡迎討論和交流!