機器學習大牛賈揚清離職 Facebook,即將加盟阿里硅谷研究院

雷鋒網 AI 科技評論消息,繼年初張潼博士離職騰訊 AI lab,又傳來重磅人事變動——賈揚清離職 Facebook。

昨日,有用戶在知乎爆料,賈揚清已離職 Facebook,他的下一站將是阿里硅谷研究院,職級爲 VP。從各路傳言看來,這已經得到諸多業內人士確認。

賈揚清擁有加州大學伯克利分校計算機科學博士學位、清華大學碩士學位和學士學位,曾於新加坡國立大學、微軟亞洲研究院、NEC 美國實驗室、Google Brain 工作,在離職 Facebook 之前,負責 Facebook 前沿 AI 平臺的開發以及前沿的深度學習研究。

他最爲人所熟知的成就當屬在伯克利期間開發的深度學習框架 Caffe。在接受《程序員》雜誌專訪時,談到開發 Caffe 的前因後果,他表示,2013 年,因爲 Alex Krizhevsky 在 ImageNet 的成功,他開始考慮把 CNN 的特徵用到心理學的實驗上,於是就寫了 Decaf。Decaf 需要基於 cuda-convnet 來訓練,他們通過 Decaf 驗證了深度學習特徵的優異的可移植性,這應該算是他開始考慮實現一個完整的深度學習框架的初衷。

2013 年下半年,他獲得了 NVIDIA 學術捐贈計劃的一塊 K20 GPU,當時他正好在寫畢業論文,空閒之餘準備把這個計劃實現出來。

「我從9月下旬開始,先自己攢了一個機器,然後大概花了兩個多月的時間寫了整個架構和 ImageNet 所需要的各個實現。起初純粹是因爲興趣使然作爲一個業餘的項目,後來因爲越來越覺得有意思(寫代碼可能和玩遊戲上癮差不多),花在 Caffe 上的時間逐漸變成 20%、40%、80%,後來在上下班的地鐵上也開始編程序,畢業論文倒是沒有太重視,所幸我的導師開明,也沒有說什麼。Caffe 寫完以後在我們組裏面試用,大家都覺得它挺好使 - 比如 Jeff 和 Ross 利用 Caffe 的訓練代碼實現了 R-CNN。到了 11 月份的時候,我開始考慮是不是要開源 Caffe,然後 12 月份正式開源。」

在 Caffe 開源之後,開始吸引了很多其他的用戶和開發人員。NVIDIA 開始幫助他們做更多的加速,Berkeley 成立了 Berkeley Learning and Vision Center 來組織和吸引工業界的研究人員共同開發多個開源項目(包括 Caffe)。他畢業以後還在繼續和伯克利的同事開發 Caffe,同時在 Google 繼續進行深度學習的應用和研究;他們在伯克利也建立了一個核心的 Caffe 團隊。

他在隨後大牛講堂的公開課上也總結了 Caffe 之所以廣受歡迎,可能是因爲以下四個特點:

1、 穩定的模型架構

Caffe 通過 Protobuf 來定義一個網絡的結構,而這個由 Google 開源的庫具有優秀的版本兼容性。隨着 Caffe 的框架源碼的不斷更新迭代,之前定義的網絡結構依然能兼容解析,模型仍然能正確加載運行。

2、較好的設備抽象

合理的設備抽象能夠精簡代碼,提高框架適用性。在這方面 Caffe 做了比較好的嘗試,模型的訓練和使用與不同的平臺耦合比較低,只要平臺能解析網絡結構並讀取二進制的模型參數,就能運行該模型。這樣大大拓展了框架的應用範圍,自然更加符合用戶的使用需求。

3、清晰的說明教程

如何讓首次接觸到框架的人通過說明教程就能最快地熟悉運用,這對於一個新面世的框架來說尤爲重要。以 Caffe 爲例,用戶只需要將官方文檔的例子跑一遍,基本就能清楚 Caffe 的操作過程和細節,這給它的廣泛傳播提供了最堅實的基礎。

4、開放的模型倉庫

Caffe 還維護了一個 Model Zoo, 許多論文的作者會將模型發佈到這裏,其它用戶可以利用這些材料輕鬆地將模型復現,還可以在 github 上參與開發討論,從而更深入地學習實踐。

詳情可參見雷鋒網此前報導:Caffe作者賈揚清,教你如何打造優秀的深度學習架構

2016 年 2 月,賈揚清從 Google 離職,加盟 Facebook,2017 年 4 月,Facebook 開源深度學習框架 Caffe2。Caffe2 最大的特點就是輕量、模塊化和擴展性好,可以方便地爲手機等移動終端設備帶來 AI 加持,讓 AI 從雲端走向終端。它在 Caffe 基礎上進行了重構和升級,一方面集成了諸多新出現的算法和模型,另一方面在保證運算性能和可擴展性的基礎上重點加強了框架在輕量級硬件平臺的部署能力。

對於爲何發佈 Caffe2,賈揚清回答到,「最重要的是工程實踐上把很多東西做到極致,比如說 NVidia 給的早期測試數據,在 P100 上面跑 ResNet50,C2 可以到 235 幀每秒,第二位大概可以到 216 幀,前東家大概能到 180 左右。無他,只不過就是框架的 overhead 小而已。說大也不大,但是在 Facebook 這種 5% 的 performance 都能分分鐘上下以 million 記的地方,什麼事情都得做到這樣才行。另外跨平臺也不是吹的,比如說我今天晚上試了一下怎樣支持蘋果 Watch:Support WatchOS build by Yangqing · Pull Request #321 · caffe2/caffe2。15 行代碼搞定,你來告訴我哪個框架能那麼簡單。」

關於 Caffe2 的詳細內容,請參見雷鋒網此前報導:開源神經網絡框架Caffe2全介紹

2018 年 4 月,Facebook 宣傳將 Caffe2 代碼併入 PyTorch 庫。賈揚清表示,將這兩個框架整合起來可以極大提升開發效率,爲廣大開發者提供便利。

「PyTorch 有優秀的前端,Caffe2 有優秀的後端,整合起來以後可以進一步最大化開發者的效率。目前 FAIR 大概有超過一半的項目在使用 PyTorch,而產品線全線在使用 Caffe2,所以兩邊都有很強的動力來整合優勢。」他如是說道。

那麼,該如何評價他此次離職。藉助他離職 Google 加盟 Facebook 時發表的言論,「正常換工作而已,大家不要太過關注」。當然,也期待此次加盟阿里,賈揚清帶領阿里團隊在硅谷創造出新的成績。

轉自百家號

|--------------------------------------------------------------------
* 這裏有精選的技術分享,也有程序猿的日常
* 面經,轉型,成長,致富,歡迎一起參與討論
* https://blog.csdn.net/itchosen
---------------------------------------------------------------------|

如果你對老羅的話題或者IT技術感興趣,請添加微信入討論羣:chaintips

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章