![]()
本次LiveVideoStackCon 2020線下北京峯會我們邀請到了360AI影像事業部總經理張焰老師來做分享，他會爲我們帶來目前AI視覺在教育中的創新應用，包括課堂專注度、課堂接受度、疲勞提醒、姿態糾正等在線教育場景解決方案。
![]()
大家好，首先介紹一下我們的公司，我們屬於360集團內部孵化的創新業務線，專注於AI視覺算法的研發和應用。我們圍繞着人、物、場景三個方向爲智能手機、泛文娛、IOT領域提供一些專業的算法支持和行業解決方案。
我們的核心能力包括智能多攝、單幀/多幀畫質，這類算法在手機客戶中應用較多；人像美化，包括AR特效等會運用到泛文娛的領域；場景識別涉及人、物、環境等多樣化的場景識別能力，另外包括一些視頻分析的能力，在IOT領域也有廣泛應用。
本次我的分享主題是360AI視覺在在線教育中的創新算法和應用。
當然很多人會說，家長願意爲孩子花錢，做教育更容易掙到錢。但更重要的是因爲疫情的爆發，使得在線教育得到了前所未有的發展機遇。在一兩個月內，政府部門就將線下的教學場景搬到了線上，完成了大遷移，但在這個大躍進中也暴露了很多問題。
第一點是學生自覺性差。K12教育是典型的督導式教學，以前的督導壓力都在老師身上，面對面在線下督導學生，而現在督導的壓力都轉移給了家長，家長確實是操碎了心。
第二點是教學效果難以評估。意思就是這個學生有沒有認真聽，有沒有聽懂，是沒有量化指標的。
第三點是課堂互動性差。因爲技術的不完善及各種主客觀限制，線上課堂很難完整地模擬線下課堂場景，缺乏雙向互動的環境。
第四點是教學效率低。包括從教師端到學生端的適應和學習成本，還有空間限制帶來的管教效率。
以上四個問題總結而言就是缺少了教育質量監督評價體系，而我們要做的事情就是彌補和改善這個體系的缺失。
![]()
我們針對以上問題提出了對應的解決方案，分別是：代替督學方案、量化監測方案、智能互動方案、智能教輔工具。
3.1 代替督學方案
3.1.1 疲勞提醒
也許有些人在之前已經聽過或用過這項技術，現如今的檢測準確率較早前已經有很大改進。我們的疲勞提醒有三個維度，包括“打哈欠”、“瞌睡”和“趴着”，“打哈欠”和“瞌睡”這兩個維度在汽車駕駛中早有應用，針對教育場景我們單獨研發了“趴着”的監測。“趴着”這個維度如何檢測準確是比較有難度的，有些人可能會想到可以用人體骨骼關鍵點，這個方法針對全身還是比較準的，但針對半身，尤其是趴着時只有一個頭甚至是頭髮的時候，骨骼關鍵點無法起作用了，這裏就需要用到更復雜的檢測手段和技術。
姿態糾正這個功能大家可能在教育平板或教育檯燈中體驗過，用得也比較廣泛。坐姿不良需要用到人的骨骼關節點和深度學習的技術，它有很多類別，包括上述提到過的趴着、臥倒、傾斜甚至是葛優躺，都可以認爲是姿態不正。距離提醒這一塊主要是用於護眼健康，可以實時檢測到人臉到屏幕的距離。
這個姿態監測系統分爲兩個方面：人臉姿態、人體姿態。人體姿態在上面提到過，我們是基於人體骨骼關鍵點配合深度圖像，從而精準地判斷出各類人體姿態。這項技術以前都是2D圖像信息，而我們創造性加入了3D深度信息，來輔助人體姿態識別。深度圖像同時還可以用來測距。那這個深度圖像從哪裏來呢？這就要和硬件相結合，像現在很多教育平板都加入了雙攝，前置結構光，前置TOF。
3.2 量化檢測
課堂專注度、課堂接受度是家長非常關注的。課堂專注度表示學生是否認真在聽，課堂接受度表示學生是否聽懂。之前我們的客戶曾提過這個問題，家長沒有課堂表現報告，不知道學生上課狀態及學習效果到底怎麼樣。所以爲了解決這個痛點，我們提出了課堂效果量化檢測的方案。
大家可以看一下這是以往的普通專注度檢測圖示，這裏只有一個2D圖像信息，檢測準確度存在較大誤差；其次它的監測指標單一，只有一些零散的指標次數，無法精確地回溯學情。
上圖是我們3D深度檢測+學情回溯追蹤的專注度監測解決方案。可以看到我們加入了3D的人臉檢測信息，可以更精準地估計出姿態和視線方向。同時輔助事件觸發機制，判斷狀態的同時會保存當前事件的觸發時刻、事件截圖、狀態持續時長等，這樣可以非常精確地有針對性地進行學情分析和回溯。
課堂接受度是從上圖五個維度進行綜合分析，這裏的維度可以分爲兩個方向，包括正向指標和負向指標。從課堂接受度而言，正向的評價有舉手、微笑、點頭，代表學生參與度比較高，表示他（她）聽懂了。負向的評價是疑惑、搖頭，這說明接受度不太高。
剛剛說到了疑惑的表情，老師的責任就是傳道受業解惑，如果老師都不知道學生有沒有疑惑，他（她）怎麼去解惑？所以首先我們要把疑惑檢測出來，在學術界，只有七類表情，沒有疑惑，所以我們專門爲教育增加了疑惑的表情。我們加入了大量疑惑的數據，通過結合人臉識別技術和人臉關鍵點技術輔助檢測，可以比較精準的判斷出疑惑的表情。
我們的智能互動方案主要介紹兩個技術，分別是AI沉浸式課件和多向智能互動技術。
上圖是傳統課件的錄播和直播課場景，錄播課一般都會像上圖左邊所示搭一個錄播室，後面有綠幕，有補光燈。這對環境條件要求很高，要有場地，要有設備，很不方便。上圖右邊是比較常見直播課界面，只有一個老師的頭像和投放的課件，這兩個東西是分屏展示的，也就是說老師和課件之間沒有任何互動。
上圖是我們研發的AI沉浸式課件，把老師的頭像與課件內容融合在一起，可以通過手勢控制課件的播放，比如說下一頁、上一頁、暫停等，有很直觀的互動效果。老師和課件完全融合在一起，不受場地限制，不需要專用設備，只需要一個攝像頭就可以了。
上圖是現在比較主流的網絡教學直播界面，主要是以老師單向輸出爲主，學生被動接受，學生和老師之間僅能通過文字互動。
我們希望通過一些技術手段，改變這種單一的互動模式，讓網課更生動、更有趣。
像我們動畫裏展示的是老師點讚的特效，學生端可以實時收到顯眼的反饋。那學生舉手老師知不知道呢？這也是可以識別的，比如說學生舉手後快速把頭像換成第一位，把頭像放大，老師可以快速知道是哪個學生舉手了，這項功能可以模擬復現線下教學場景。
表情識別
再比如表情識別，檢測到學生出現疑惑情緒，系統就會把她highlight出來，老師就知道哪個學生沒有聽懂。這是非常有價值的，現在在線教育並沒有做到這一點。
還有一些增加趣味性的人臉特效，一些可愛的動效可以抓住低領學生的注意力和興趣點。
在線教育除了直播授課，還有課後作業場景，學生會遇到拍課件、拍題的問題。大部分學生的手都很小，如果用學習平板很容易拿不穩，拍題就拍虛了。當然也有人會說，我可以用光學防抖，但大家都知道光學防抖的每一個器件要增加3-4美金成本。只有買的是真正的旗艦手機，纔會有光學防抖。所以我們提出了純軟的光學防抖方案，一次性解決上圖所示各種拍照模糊問題，比如失焦，曝光拖影，抖動，噪點，暗光等。
3.4.2 超清拍照——一個方案解決所有拍攝模糊問題
這個方案是我第一次公開講，有些手機客戶已經接入了我們的方案。流程也很簡單，輸入有兩種方式，傳感器輸入和三幀圖像，再進行傳感器融合，位置估計，運動向量估計，根據位置信息進行防抖去模糊處理。輸入的三幀照片進行對齊，降噪等一系列處理，最後進行動態範圍提升和圖像增強。圖像增強包括對比度增強銳化，整體是一個比較複雜的流程，這裏我們簡化給大家展示。
這是我們的一個客戶案例，我們的超清拍照技術已經應用在訊飛智能錄音筆上，可以用來提升拍會議文檔的圖像質量，不再擔心拍照拍虛的問題。
這是HDR效果，主要是提升動態範圍，實現高光抑制和暗部提亮。
我們的畫質提升能力不僅體現在拍照上，還能應用於視頻。
通常專業的主播間中都有一個很大的補光燈，長期近距離直視或多或少會對眼睛產生傷害，於是我們提出了純軟的補光方案。上圖所示是全局補光效果，我們還有一個只針對人臉補光的方案，基於膚色分割和3D打光技術，提升人臉質感和通透度。
人臉考勤對線上和線下課堂都非常有價值，可以快速進行學生考勤，同時可防止代答到的情況發生。
看完前面的技術介紹，接下來介紹一下我們針對在線教育研發的一個課質監測產品，叫網課助手。網課助手有4大場景SDK，包含專注度，課堂接受度，疲勞提醒，姿態糾正。這個SDK既可以發給老師又可以發給家長，在後臺自動生成檢測報告，家長和老師可以更全面直觀地看到學生的學習情況和情緒狀態。
網課助手的架構是典型邊緣計算+雲計算的架構，家長端只需要本地端的能力，本地端的設備越來越強，大家用的平板手機能力很強，這些檢測能力完全可以在端上實現，後臺更多的是和教育系統打通，把狀態及時推送給家長和老師。
有了檢測數據之後，老師可以快速得到整個班級表現狀況，上圖左邊代表每個維度上每個學生表現佔比，分別展示表現好、中、差。上圖右邊可以將表現非常好和非常差的學生排列出來，做相應的獎勵或輔導。
對於單個學生，我們也可以給出更詳細的分析報告。比如想看疲勞度，會以時間軸的形式進行展開，發現在10點21分檢測到學生瞌睡，瞌睡持續時長一目瞭然。
想看看學生接受度如何，也可以根據時間戳回溯事件，看學生在哪部分內容上接受度較好，哪部分較差。
我們一整套的在線教育解決方案是金字塔架構，底層是AI底層技術，包括人臉識別、表情識別、手勢識別、姿態識別等技術；中層是基於各個場景的解決方案；最上層就是跨平臺的SDK和業務端的應用。好的AI技術我們希望不只是噱頭，而是可以真正爲客戶起到降本增效的作用。
專注度與課堂接受度是爲了給家長省心，老師放心，時間精力也算是一種成本；沉浸式課件課件減少投影儀，電視的使用；防抖技術可以省去光學防抖器件成本，省掉智能補光燈的成本，這都是AI實實在在的價值。
360AI視覺不止做教育，在智能手機、泛娛樂、IOT等領域都有豐富的技術應用，期待和各行各業的朋友有更多交流合作。
LiveVideoStackCon 2021 ShangHai
LiveVideoStackCon 2021 上海站
