近日，阿里雲正式開源了深度遷移學習框架EasyTransfer，這是業界首個面向NLP場景的深度遷移學習框架。
該框架由阿里雲機器學習PAI團隊研發，讓自然語言處理場景的模型預訓練和遷移學習開發與部署更加簡單和高效。
面向自然語言處理場景的深度遷移學習在現實場景裏有巨大的需求，因爲大量新的領域不斷湧現，傳統的機器學習需要對每個領域都積累大量訓練數據，這將會耗費大量標註的人力與物力。深度遷移學習技術可以將源領域學到的知識遷移到新的領域的任務，進而大大減少標註的資源。
儘管面向自然語言場景的深度遷移學習有很多的需求，目前開源社區還沒有一個完善的框架，而且構建一個簡單易用且高性能的框架有巨大挑戰。
首先，預訓練模型加知識遷移現在是主流的NLP應用模式，通常預訓練模型尺寸越大學習到的知識表徵越有效，然而超大的模型給框架的分佈式架構帶來了巨大挑戰。如何提供一個高性能的分佈式架構，從而有效支持超大規模的模型訓練。
其次，用戶應用場景的多樣性很高，單一的遷移學習算法無法適用，如何提供一個完備的遷移學習工具來提升下游場景的效果。
第三，從算法開發到業務落地通常需要很長的鏈路，如何提供一個簡單易用的從模型訓練到部署的一站式服務。
面對這三大挑戰，PAI團隊推出了EasyTransfer，一個簡單易用且高性能的遷移學習框架。框架支持主流的遷移學習算法，支持自動混合精度、編譯優化和高效的分佈式數據/模型並行策略，適用於工業級的分佈式應用場景。
值得一提的是，配合混合精度、編譯優化和分佈式策略，EasyTransfer做到比社區版的分佈式訓練在運算速度上快4倍多。
同時，經過了阿里內部10多個BU，20多個業務場景打磨，給NLP和遷移學習用戶提供了多種便利，包括業界領先的高性能預訓練工具鏈和預訓練ModelZoo，豐富易用的AppZoo，高效的遷移學習算法，以及全面兼容阿里巴巴PAI生態產品，給用戶提供一個從模型訓練到部署的一站式服務。
阿里雲機器學習PAI團隊負責人林偉表示： 本次開源EasyTransfer代碼，希望把阿里能力賦能給更多的用戶，降低NLP的預訓練和知識遷移的門檻，同時也和更多夥伴一起深入合作打造一個簡單，易用，高性能的NLP和遷移學習工具。
平臺架構總覽
EasyTransfer的整體框架如下圖所示，在設計上儘可能的簡化了深度遷移學習的算法開發難度。框架抽象了常用的IO，layers，losses，optimizers, models，用戶可以基於這些接口開發模型，也可以直接接入預訓練模型庫ModelZoo快速建模。框架支持五種遷移學習(TL)範式，model finetuning，feature-based TL, instance-based TL, model-based TL和meta learning。同時，框架集成了AppZoo，支持主流的NLP應用，方便用戶搭建常用的NLP算法應用。最後，框架無縫兼容PAI生態的產品，給用戶從訓練到部署帶來一站式的體驗。
據介紹，EasyTransfer框架主要支持工業級的分佈式應用場景，改善了分佈式優化器，配合自動混合精度，編譯優化，和高效的分佈式數據/模型並行策略，做到比社區版的多機多卡分佈式訓練在運算速度上快4倍多。
除此之外，EasyTransfer還具有豐富的ModelZoo、AppZoo，支持所有主流的遷移學習範式，預訓練語言模型性能優越，具備多模態信息搜索、任務自適應知識蒸餾、QA場景領域關係學習等能力。