適應性可解釋機器學習項目旨在重新設計機器學習模型，以便人類可以理解計算機的想法。
Anne McGovern | 林肯實驗室
2018年9月5日
軟件應用程序爲人們提供了多種自動化決策，例如判定某一個體的信用風險、告知招聘人員合適的人選或者判斷哪些人可能對公衆構成威脅。近年來，不斷有新聞頭條報道稱，未來，機器將在社會背景下運作，在使用不可信邏輯的同時決定人類的生活方式，以示警戒。
這種恐懼一部分來自於許多機器學習模型模糊不清的運作方式。這些模型被稱爲黑盒模型，它們被定義成了一種系統。在這種系統中，甚至連繫統開發人員都無法理解輸入到輸出這一過程。
“由於機器學習已經無處不在，並被用於可能導致嚴重後果的應用程序，所以人們需要了解它的預測方式，以便在它被用於廣告以外的領域時能夠信任它，”麻省理工學院林肯實驗室信息學和決策支持小組的技術人員Jonathan Su說。
目前，研究人員主要使用事後技術和可解釋模型（如決策樹）來解釋黑盒模型得出結論的方式。通過事後分析技術，研究人員觀察算法的輸入和輸出，然後嘗試對黑盒內發生的事情構建近似解釋。這種方法的問題在於研究人員只能猜測內部運作，最後的解釋往往是錯誤的。而決策樹技術則是在樹狀結構中映射出選擇及其潛在後果，這一技術可以很好地處理那些有意義的分類數據，但在諸如計算機視覺和其他複雜數據問題等重要領域不適用。
Su帶領實驗室的一個團隊與杜克大學的Cynthia Rudin教授以及杜克大學的學生Chaofan Chen、Oscar Li和Alina Barnett合作研究了一種用更加可視化的預測方法取代黑盒模型的方法。這一項目被稱爲適應性可解釋機器學習（AIM），專注於實現兩種方法：可解釋的神經網絡以及適應性可解釋貝葉斯規則表（BRL）。
神經網絡是一個由許多相互交織的處理元件組成的計算系統。這些網絡主要用於圖像分析和對象識別。例如，通過算法從一堆狗的照片中識別出一隻狗。研究人員表示，這些神經網絡具有非線性和遞歸性，對人類來說十分複雜且難以理解，因此很難查明神經網絡究竟是如何定義照片中的“狗”的，又是怎樣得出結論的。
爲了解決這個問題，該團隊正在開發所謂的“原型神經網絡”。與傳統神經網絡不同，這些神經網絡通過創建原型自然地對各項預測作出解釋，原型通常爲輸入圖像的代表性部分。這些網絡基於輸入圖像的各個部分與各原型之間的相似性來進行預測。
舉個例子，如果某一網絡的任務是識別某一圖像是狗、貓還是馬，那麼該網絡會將圖像的各個部分與每種動物的重要部分的原型進行比較，並利用這一信息進行預測。最近一集的“國內數據科學”播客就提及了一篇關於此項工作的論文：“看起來像是：關於可解釋圖像識別的深度學習”。之前曾有一篇論文“通過原型進行基於案例推理的深度學習：解釋其預測的神經網絡”將整個圖像（而非其中的一部分）用作原型。
研究團隊的另一個研究領域是BRL，一種簡單的單側決策樹，適用於表格數據，其準確性通常與其他模型一樣高。BRL由一系列條件語句組成，這些條件語句自然形成一種可解釋模型。例如，血壓升高時，患心臟病的風險也會提高。Su和他的同事試圖利用BRL的特性來促使用戶判斷出對預測而言至關重要的特徵。此外，他們還開發了交互式BRL，這種BRL可以在有新數據輸入時立即作出調整，而非基於日益增加的數據集從頭開始重新校準。
佛羅里達大學的研究生Stephanie Carnell也是信息學和決策支持小組的一名暑期實習生，他正將AIM項目的互動BRL應用到一個幫助醫學生更好地與患者面談而且更準確得判斷患者病情的項目。目前，醫學生主要通過與虛擬患者面談並根據他們在發現重要診斷信息方面的得分來練習這些技能。但是他們並不知道獲得這些分數的原因。AIM項目希望改變這一點。
“我能想象，大多數醫學生都對沒有具體理由的成功預測深感沮喪，”卡內爾說。“AIM生成的規則列表應該是一種爲學生提供數據驅動、可理解反饋的理想方法。”
AIM項目是實驗室對人體系統工程 - 或者設計與人們思考和運作方式更加協調的系統（例如可理解的算法，而非模糊不清的算法）的持續研究。
“實驗室有機會成爲將人類和技術結合在一起的全球領導者，”信息學和決策支持小組的助理組長Hayley Reynolds說。“我們正走在巨大進步的前沿。”
Melva James是另一位參與AIM項目的信息學和決策支持小組的技術人員。“我們在實驗室開發了BRL和交互式BRL的Python執行程序，”她說。“[我們]正在同時測試不同操作系統和硬件平臺上BRL和交互式BRL執行程序的輸出，以便建立可移植性和再現性。我們還在識別這些算法的其他實際應用。”
Su解釋說：“我們希望爲實驗室建立一種新的戰略能力，即人們可以瞭解從而加以信任的機器學習算法。”
主題：林肯實驗室 機器學習 算法軟件 人工智能研究