伍冬睿教授：腦機接口中遷移學習的完整流程

原創

2020-07-08 01:45

大家好，今天Rose分享一篇關於腦機接口中的遷移學習的完整流程。本文由華中科技大學伍冬睿教授授權分享。

關於腦機接口中遷移學習方面的研究，伍教授團隊做過大量的工作。之前社區分享過《腦機接口中的流形嵌入知識遷移學習》、《華中科技大學伍冬睿教授：非侵入式腦機接口中的遷移學習綜述（2016-2020）》等都來自於伍教授團隊的研究成果。

腦機接口（Brain-Computer Interface, BCI）可以讓用戶使用腦電信號直接與計算機或其他外部設備進行交互。該名詞是由美國加州大學洛杉磯分校Vidal教授1973年發明的，但是早在1969年美國耶魯大學和華盛頓大學的研究者們已經分別在牛和猴子上進行了閉環腦機接口實驗，比如可以通過腦機接口系統讓奔跑中的公牛突然停下來，讓猴子可以通過控制單個腦細胞的活動來操控儀表指針以獲取食物獎勵。腦機接口最初是爲病人設計的，特別是像霍金那樣全身癱瘓又不能說話的病人。近年來，腦機接口的應用範圍逐漸擴展到正常人，用於遊戲、神經營銷、情感識別、精神狀態評估等。

用於腦機接口系統的輸入信號可以分爲非侵入式、半侵入式和侵入式三種。其位置和特徵如圖1所示。

圖1. 腦機接口系統的信號來源和特徵

非侵入式腦機接口無需動手術，直接從頭皮表面採集大腦信號。常用的非侵入式信號有頭皮腦電（EEG）、功能近紅外光譜（fNIRS）和功能核磁共振成像（fMRI）等，其中以EEG最爲常見。EEG通常由頭戴式的腦電帽通過電極從頭皮上採集，可以在頭皮上監測到羣體神經元的放電活動。

基於EEG的閉環腦機接口架構圖如圖2所示，包括EEG信號採集、信號處理、特徵工程、分類迴歸和控制器幾個部分：

圖2 基於EEG的閉環腦機接口系統架構

下面我們對每個部分分別介紹一下：

信號採集：通過腦電帽進行。傳統的腦電帽使用溼電極，佩戴不太方便和舒適。現在越來越多的腦電帽使用乾電極，佩戴更加方便，但是一般信號質量比溼電極稍差。
信號處理：因爲EEG信號幅值很小，並且容易受到肌電、眼電、心電、交流電工頻干擾等的影響，必須通過信號處理提高其信噪比。信號處理一般包括時域濾波和空域濾波兩步。時域濾波一般用陷波濾波器去除50或60Hz的交流電工頻干擾，然後用帶通濾波器，比如【8,30】Hz，去除高頻噪聲和低頻漂移。空域濾波通過獨立成分分析(ICA)、共同空間模式(CSP)、典型相關分析(CCA)等把原始EEG通道通過加權的辦法組合成新的通道，提高信息量，並降低通道數目。
特徵工程：主要是特徵提取，有時候也包括特徵選擇。常用的特徵包括時域、頻域、時頻域、黎曼空間、topoplots等。
分類迴歸：使用機器學習算法從EEG特徵中解碼其含義。常用的方法有線性判別分析 (LDA)、支持向量機 (SVM)等。
控制器：根據腦電信號含義，向外界設備，比如計算機、機器人等，發送指令。在有些應用（比如文字輸入）中，控制器並不是必需的，腦電信號經過分類器後已經直接被解碼成文字了。

經典的腦機接口系統主要包括運動想象（Motor Imagery, MI）、事件相關電位（Event Related Potential, ERP）和穩態視覺誘發電位（Steady-State Visual Evoked Potential, SSVEP）三種範式。本文主要考慮基於運動想象的BCI系統。肢體運動的執行和想象會影響大腦特定區域感覺運動皮層的節律活動的變化。比如對於左手的想象動作會導致大腦右半球激活強烈，右手的想象動作會導致大腦左半球激活強烈，而腳的想象動作會導致大腦頂部激發強烈。根據這些特徵可以把運動想象轉化成輸出指令，用於外部設備的控制。

EEG信號很微弱，容易受到身體其它電信號和外界環境干擾，具有很大的個體差異，並且是非平穩的（同一個用戶不同時間的EEG信號會有差異），所以很難設計一個腦機接口系統，其機器學習模型參數固定且對不同用戶、不同腦電帽和不同任務都是最優。通常需要對新用戶、新設備和新任務進行校準，但是此校準過程費時費力，對用戶不友好，所以縮短或消除此校準過程對於腦機接口系統的推廣應用非常重要。

遷移學習是目前腦機接口中減少校準的最重要的方法，也是本文的主題。其主要思想是通過相似或相關的其它用戶、設備或任務的數據來幫助當前用戶、設備或任務進行校準。雖然文獻中已經有很多遷移學習方法，但是大部分都只是針對信號處理、特徵工程、分類迴歸3個組件中的1個進行考慮的，特別是分類迴歸部分。個別文獻考慮了其中的2個組件。附件中的最新文章“Transfer Learning for Brain-Computer Interfaces: A Complete Pipeline”提出，這3個組件中可以同時考慮遷移學習，並且在信號處理之前應該顯式地加入一個數據對齊組件，讓來自不同用戶的數據分佈更加一致，有利於後續的遷移學習。我們提出的腦機接口中遷移學習的完整流程如圖3所示。

圖3. 腦機接口中遷移學習的完整流程

我們介紹了數據對齊、信號處理、特徵工程和分類迴歸中一些基本的遷移學習方法，及改進的、效果更好的遷移學習方法，並通過實驗驗證瞭如下結論：

在腦機接口的遷移學習中加入顯式的數據對齊組件非常重要。常用的數據對齊方法在我們最新的綜述文章“D. Wu, Y. Xu and B.-L. Lu, “Transfer Learning for EEG-Based Brain-Computer Interfaces: A Review of Progress Made Since 2016,”IEEE Trans. on Cognitive and Developmental Systems, 2020, accepted”中有很完整的介紹，如下表所示。
在腦機接口的多個組件中同時考慮遷移學習往往比只在部分組件中考慮遷移學習效果好。複雜的遷移學習方法往往比簡單的效果好。