作業幫直播課“集體發言”功能研發實踐

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在線下課堂，老師和學生之間的互動頻率非常高，而在線上，各個公司目前的直播課產品互動頻率都非常低。在作業幫直播課小學產品負責人曹越看來，這個問題的核心原因是缺少一個高頻互動的方式。因此，作業幫研發團隊對其小學直播課產品中的集體發言功能進行了升級。"}]}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"項目背景"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"據瞭解，作業幫第一代大班課基於RTMP技術實現，特點是大部分時間都是單向直播，老師在授課過程中和學生有一些簡單互動，比如文字聊天、是否卡、答題卡之類的，互動不及時，延時普遍在3秒以上。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在運營大班課的過程中，作業幫發現低年級學生有特別強的互動需求，比如英語課就需要大量口語互動。而且多互動交流，也有利於低年級學生在課堂上更加專注學習。作業幫在2019年啓動了“小組課”的開發，“小組課”是把一個幾千人的大班分成6個人一個小組的小班，小組成員之間的互動和第一代大班相比更加頻繁和多樣。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在“小組課”第一期，作業幫就加入了集體發言功能，集體發言第一期的形式是老師提問，學生用語音回答，語音識別系統會把學習語音自動轉換成文字或者分數，再發送給同組學員和老師。集體發言功能上線使用一段時間後，從學生和主講老師、輔導老師那邊收到反饋，他們均有強烈需求要聽到對方的真實聲音，因此作業幫在2020年中啓動了集體發言二期的開發，並於2020年寒假課全量上線使用。集體發言二期主要解決了同組學員之間，老師和學生之間的語音互動功能。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"核心技術"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"“接到這個項目需求時，憑我多年做音視頻的經驗，就知道這個項目是一個棘手的活。”因爲，作業幫APP的用戶設備大都爲學生家長淘汰下來的手機，還有很多學習平板，這類機型性能較差，安卓系統版本較低，兼容性很不好做。爲了解決用戶設備的適配問題，在兩個月的時間裏，團隊把公司所有機型都借來，包括同事的個人機，做了幾百種機型的適配。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"另外，有些學生上課時的環境很嘈雜，從後臺甚至能看到有些學生在菜市場、醫院或者汽車上看直播課。集體發言功能需求6個小組成員都是互通語音，其中只要有一個成員的語音有問題，就會影響其它五個人的上課效果。主講端也會聽到學生的聲音，如果剛好聽到聲音很嘈雜的學生，就會影響老師的上課效果。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"考慮對課堂效果風險的控制，作業幫的技術團隊嘗試了多種解決方案。對於常見的噪音，技術團隊主要通過算法消除的方式解決。那些並不常見的噪音也可以通過編寫特定算法，將異常設備的音量暫時降低等進行處理，並通過該系統不斷迭代去優化聲音。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"據介紹，傳統的噪音消除只能消除白噪音之類特徵很明確的噪音，爲了解決像汽車聲音，菜市場噪音之類特定的噪音，團隊引入了機器學習技術，自己訓練了噪音消除庫，訓練數據主要來自回放視頻，部分訓練數據是組員親自找到特定場景錄製的。因爲老師和學生的使用環境不一樣，所以還針對老師和學生分別訓練了不同的噪音消除庫。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"另外還要重點說下回音消除功能，集體發言功能的聲音來源有很多，很容易產生迴音。目前iOS平臺的迴音消除兼容性很好，在iOS平臺下直接使用了自帶的迴音消除。PC平臺的迴音消除大部分情況下工作都還不錯，只有在CPU佔用率很高的情況下容易出問題。最麻煩的是安卓平臺，安卓平臺機型特別多，兼容性很差，爲了解決這個問題，團隊測試了大量安卓機型，採用白名單策略，如果某款機型硬件迴音消除很好，就優先使用硬件迴音消除，不在名單中的機型則使用軟件迴音消除。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"如果學生側網絡不好對該功能也有一定影響，畢竟多了幾路語音，還是會佔用一定帶寬。作業幫自研的ZRTC在弱網方面的技術主要有丟包重傳和FEC，這是一款通用抗弱網技術，不是爲該功能專門優化的，但可以起到很好的作用。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"2021年寒暑假，集體發言二期功能全量使用。寒假課結束後，團隊邀請了部分用戶做了問卷調查，學生滿意度和參與度都比第一期有了重大提高。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"未來發展"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在作業幫產研團隊看來，好的產品並非一蹴而就，產品打磨和技術支持缺一不可。評定教育產品好壞的標準要看是否真正賦能教育，技術的不斷升級儼然能讓產品發揮更大的效用。未來，團隊計劃在語音方面主要迭代以下幾個方面：繼續完善機型適配，每年都會出現很多新機型，所以這個工作不能停，團隊會一直做下去；以月爲週期訓練噪音消除庫，讓噪音消除庫適應性更好；嘗試新的語音編碼，比如最新很火的谷歌開源語音編碼Lyra等。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"隨着5G、人工智能、虛擬現實、增強現實等技術的成熟和應用，在線教育的形態和服務形式也在不斷升級。而以人工智能技術驅動的自適應個性化學習，將是教育領域最具潛力的應用場景。"}]}]}