遷移學習:邁向真正的人工智能

30多年前我與楊強教授在人工智能(AI)的國際會議上相遇並相識,而後發現我們對AI有着共同的興趣並從事類似的研究工作。當時正處於第一代AI的高潮,符號主義佔主導地位。我們利用以知識爲基礎的符號推理模型研究AI中的各種問題,如 規劃搜索學習 等。這是當時的主流,以機器學習爲例,如從觀察中學習、基於案例的推理、類比學習和歸納學習等,它們均從模仿人類的宏觀學習機制出發,以知識(或經驗)驅動爲基礎。這種學習方法的優點是, 學習的模型和結果很容易實現跨領域和跨任務的推廣

不難看出,這些學習方法正是當今 遷移學習 (Transfer Learning)的探路者。可惜,不久它們就遭遇了AI的冬天。由於知識獲取與表示的困難,以及當時計算機計算能力的限制,符號主義的主張沒有得到應有的發展和大規模的應用,以知識爲基礎的學習方法也同樣受到重創。21世紀初,機器學習中的一個分支—— 概率統計學習 (特別是 深度學習 )異軍突起,獲得巨大成功。它不僅建立了較好的理論基礎和有效的算法,還成功地得到商業應用,成爲推動產業和社會發展的重要力量,使AI進入了以數據驅動爲主導的第二代AI發展時代。憑藉大數據、強大的算法和算力,第二代AI在模式識別等領域表現出超越人類的性能。可惜,以數據驅動爲基礎建立的AI系統十分脆弱,推廣能力也很差,例如:機器學習模型在某些方面可以具有很高的性能,但當模型應用於有別於訓練環境的場景中時,其性能顯著下降,甚至完全不能使用,與人類“隨機應變”和“舉一反三”的真正智能相去甚遠。

爲了邁向真正的AI,我們需要第三代AI,而 遷移學習 正在向這一道路邁進。遷移學習將知識驅動方法和數據驅動方法結合起來,以打破基於大數據的“黑箱”學習帶來的不可解釋、脆弱與易受攻擊等缺陷,建立可解釋與魯棒的AI理論和方法,開發安全、可信、可靠和可擴展的AI技術。由於能同時利用 知識數據算法算力 這四大要素,AI一定可以再創輝煌。《遷移學習》展示了在通往真正AI的道路上作者在機器學習領域已經取得的成果。

遷移學習如何將基於數據學習得到的模型從一種場景更新或者遷移到另一場景,從而實現跨領域和跨任務的推廣?具體的做法如下:首先,從學習訓練的環境(包括訓練數據與方法)出發,發現哪些(具有某種通用性的)知識可以跨領域或者跨任務進行遷移,哪些只是針對單個領域或單個任務的特定知識,並利用通用的知識幫助提升目標域或目標任務的性能。這些通用知識主要通過以下4種渠道遷移到目標域中,即 源域中可利用的樣本源域和目標域中可共享的特徵源域模型中可利用的部分源域中實體之間的特定規則

《遷移學習》 是楊強教授與其學生在多年研究的基礎上撰寫的,它包含了遷移學習的基礎、方法、技術和應用。

遷移學習

楊強 張宇 戴文淵 潘嘉林 著
2020年8月 出版

本書主要由兩部分組成: 第一部分 從代表性方法和理論研究的角度介紹 遷移學習的基礎第二部分 討論遷移學習中的一些 新熱點 ,以及展示一些成功應用遷移學習的 場景 。本書包含很多原創性的成果,是一部值得廣大讀者閱讀的專著。本書向我們展示了作者爲走向真正AI所做出的努力,因此不僅適合關注遷移學習的讀者,而且對於所有關心人工智能的讀者都是有益處的。

本文轉載自公衆號華章計算機(ID:hzbook_jsj)。

原文鏈接

https://mp.weixin.qq.com/s/s5TQTneeGeX7s3-HkTFQZg

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章