Google於2018年發佈預訓練語言模型BERT ，並在11項自然語言處理（NLP）任務上取得最好成績，OpenAI也在前後不久的時間發佈了GPT和GPT2 ，在自然語言生成任務上帶來了驚人表現，自此，預訓練語言模型開始得到學術界和工業界的極大關注，被認爲是開啓了自然語言處理的新篇章。各個公司和高校的研究團隊陸續推出了新的預訓練語言模型，並不斷刷新NLP任務上的記錄，如近期CMU和Google推出的XLnet ，Facebook AI推出的RoBERTa ，百度推出的ERNIE 等。
華爲諾亞方舟實驗室語音語義團隊與海思圖靈、雲BU等團隊合作，共同研究大規模預訓練模型的訓練技術，取得三項傑出研究成果，分別對應中文自然理解任務、生成任務以及模型小型化：
1、發佈了自己的中文預訓練語言模型“哪吒”，在中文自然語言理解任務上達到先進水平；
2、推出基於預訓練語言模型的詩歌生成“樂府”，在中文詩歌生成任務上取得驚人表現；
3、預訓練語言模型的小型化工作“TinyBERT”，在壓縮BERT參數8倍的前提下，遠超BERT的表現並且將推斷加速10倍，此工作受到了MIT Technology Review的報道，並且已經成功應用在華爲手機及合作運營商的多項業務上。
本次演講將介紹華爲在預訓練語言模型的研究和實踐的以上三項工作，以及預訓練語言模型在華爲業務成功落地的應用分享。
內容大綱：
-
預訓練語言模型背景介紹
1.1 模型簡介
1.2 發展歷程
1.3 最新進展
-
哪吒模型技術剖析
2.1 技術分享
2.2 效果展示
-
樂府模型介紹與效果展示
3.1 模型簡介
3.2 雲端落地案例
3.3 生成效果展示
-
TinyBERT的技術分享與案例展示
4.1 華爲端側需求分析
4.2 基於知識蒸餾和數據增強的壓縮
4.3 落地案例分析
-
預訓練語言模型在華爲的落地應用
5.1 用戶觀點挖掘
5.2 序列化推薦
-
結論與展望
聽衆收益：
-
對預訓練語言模型研究的最新進展有一個概觀的認識，學習其中的關鍵技術
-
對預訓練語言模型在自然語言理解和生成任務上的驚人表現有一個直觀的認識
-
爲大規模深度學習模型的研發和落地提供一些案例與經驗分享