微軟亞洲研究院成立OpenNetLab,探索以“數據爲中心”AI網絡研究新範式!

2020年12月18日,微軟亞洲研究院宣佈聯合清華大學、北京大學、南京大學、蘭州大學、新加坡國立大學、首爾國立大學等多所亞洲地區高校,成立OpenNetLab開放網絡平臺聯盟

 

OpenNetLab官網地址:https://opennetlab.org/

 

通過爲研究人員提供通用的分佈式網絡測試平臺,以及真實的網絡評測數據集,OpenNetLab旨在推動人工智能(AI)在網絡研究中的應用與發展,構建健康、可持續的網絡研究生態系統。

 

如今,AI在視覺、語音、自然語言等領域的應用如火如荼,上層不斷髮展變化的各種應用,需要底層網絡架構的穩固支撐才能得以實現。如何挖掘AI技術的潛力來提升網絡領域的研究,是目前學術界和工業界共同關注的焦點。然而,AI技術在網絡領域的應用面臨諸多挑戰。

 

一方面,網絡AI模型的訓練和驗證需要大量的數據,真實且有代表性的網絡數據能提升模型的準確性和適用性,但研究人員獲取大規模真實網絡數據具有較大難度;另一方面,由於網絡結構的多樣性,以及網絡設備、連接方式的異構性,如果希望一個網絡模型適用於不同的場景,那麼一次性離線訓練的模型顯然遠遠不夠,而適合於此的強化學習模型對訓練環境和場景要求很高。OpenNetLab(http://opennetlab.org)的誕生正是爲了應對這些挑戰,爲研究人員提供基於現實網絡的真實數據,並能實地訓練和驗證網絡模型

 

OpenNetLab可以做什麼?

 

通過微軟亞洲研究院常務副院長周禮棟的介紹,我們瞭解到,首先,OpenNetLab開放網絡平臺的任務,是通過構建分佈式異構節點收集不同區域、形態、場景的網絡數據

 

現階段,微軟亞洲研究院已經完成了分佈在17個主要集中於亞太地區的節點,還有28個節點在建設之中,並且正在逐步進入大規模測試階段。

 

下一步,OpenNetLab計劃將與合作高校一起在亞洲範圍內建設40多個分佈式異構節點,並拓展至全球區域部署。

 

這些節點的作用是什麼呢?周禮棟解釋道,每個節點將由服務器、筆記本電腦、智能設備等組件構成,同時提供有線寬帶、無線局域網和4G/5G移動網絡的接入能力,數據存儲、集成、分享的標準化接口,以及適用於不同網絡環境的AI模型運行、訓練和驗證工具,幫助研究人員專注於網絡AI算法和模型。今後,這些節點將在平臺用戶同意的情況下,實時收集網絡狀態、數據包跟蹤等非隱私/非敏感數據,爲各類網絡AI模型的訓練及驗證提供支持。

 

OpenNetLab的另外一個重要任務,是提供真實的網絡測試能力。

 

正如南京大學計算機科學與技術系副教授田臣所說,高校在開展網絡研究相關實驗研究時,遇到的最大的問題之一,就是網絡真實性的問題。之前,高校大多是在仿真的網絡環境中進行試驗,並不直觀。有了OpenNetLab之後,高校可以讓學生在真實的網絡環境中做實驗,感受真實的互聯網特性。這對於後備力量的培養和研究工作是非常重要的。

 

重要的是,OpenNetLab能爲AI網絡研究提供真實的數據。田臣說道,測試數據及對AI在每個領域中的應用都起到了非常重要的推動作用,比如推動計算機視覺領域快速發展的ImageNet。OpenNetLab希望能夠產生這樣一個測試集,讓網絡研究能夠基於真實的數據集,讓研究者進行創新。

 

解決了上述痛點問題之後,研究人員就可以專注於網絡在AI算法、模型上的研究,而無需過多考慮網絡的複雜特性,專注於用AI解決應用問題。

 

網絡研究模式將發生全新轉變

 

微軟亞洲研究院做OpenNetLab,實際上很重要的一點是基於對未來的一個很重要的判斷——網絡本身它實際上也在進入一個新的階段。

 

周禮棟提到,現在的網絡與往日已經不可同日而語,面臨着很多新的挑戰。比如網絡在異構設備之間的傳輸問題,用戶的需求和應用的多樣性,以及網絡本身遇到的發展瓶頸等,以前網絡的研究、建設、開發還是比較傳統的方式,但現在,數據量增長速度驚人,網絡的實時變化性、複雜性也比以往高出很多,傳統的網絡研究和設計理念都遇到了很大的挑戰,引發網絡設計、網絡研究模式進行巨大的轉變,尤其是以“數據爲中心”的新範式。

 

在AI不斷髮展的背景下, 通過以數據爲中心,用AI技術處理網絡的複雜性、多樣性以及網絡在時序上的多變性等問題,AI成爲一個非常好用的工具。

 

另一方面,因爲網絡本身就是一個開放的、共享的資源,網絡本身的問題牽涉到所有參與網絡的羣體,這決定了問題不可能被單獨一方解決,所以,我們需要一個社區搭建一個公共的基礎設施,讓大家看到問題,才能夠有效地解決問題。

 

這也是微軟亞洲研究院成立OpenNetLab最主要的初衷,就是以開放、共享、合作的方式,共建社區。

 

多所高校已加入聯盟,將在GitHub開源

 

OpenNetLab開放網絡平臺聯盟的主要發起機構爲微軟亞洲研究院、清華大學、南京大學和北京大學,其它合作成員還包括蘭州大學、新加坡國立大學、首爾國立大學、韓國科學技術院、南方科技大學、上海交通大學等亞洲範圍內的高校。

 

OpenNetLab平臺的真實數據集不僅爲高校提供了豐富的實驗資源,也使得相關課程教學及實驗更加接近現實世界的網絡應用情況。多所合作高校已基於該平臺展開了相關研究。

此外,微軟亞洲研究院還透露,未來OpenNetLab平臺的網絡狀態數據集將在GitHub上發佈,爲網絡研究提供日漸豐富的訓練數據和驗證數據,面向網絡、多媒體、人工智能等多領域的科研組織和研究人員開放,希望更多志同道合的科研工作者加入,一起推動網絡研究的發展。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章