【AI技術生態論】字節跳動李航:自學機器學習,研究AI三十載,AI發展或進入平緩期

在這裏插入圖片描述

作者 | 夕顏
出品 | AI科技大本營(ID:rgznai100)

「AI技術生態論」是CSDN發起的“百萬人學AI”倡議下的重要組成部分,與AIProCon萬人開發者大會Top30 AI技術生態行業案例徵集和評選開發者與AI大調查AI大師課一起,打造一個覆蓋百萬開發者的AI生態聯盟。


2020年,「AI技術生態論」欄目將對1000+AI生態大咖進行系列訪談,勾勒出AI生態最具影響力人物圖譜和AI產業全景圖!


本文爲 「AI技術生態論」系列訪談的第一期,更多AI技術和產業生態報道,敬請期待下一期精彩內容!

【導讀】一陣涼風吹過人工智能,讓這個曾是燥熱的領域逐漸冷卻下來,留下的是紮實地在做研究的人、機構、企業。先後在 NEC 公司中央研究所、微軟亞洲研究院、華爲諾亞方舟實驗室從事和領導 AI 技術研發,現任字節跳動人工智能實驗室總監的李航,就是一位 AI 技術的堅實研究者和實踐者。

在字節跳動的一間會議室,筆者第一次見到這位卓有建樹的AI技術研究者和實踐者。關於李航的嚴謹和認真筆者早有耳聞,而在這次會面中,筆者才真正領會了他的學者風範。

讓筆者欣喜的是,李航非常友善且健談,從早年的研究經歷到最近的新書《統計學習方法》第二版,再到對機器學習熱門技術的看法及對未來人工智能的展望,相關問題他都一一做了詳盡的回答。

一、初遇“機器學習”,也曾有過懷疑


從事 AI 研究 30 多年,目前李航作爲字節跳動人工智能實驗室總監,負責領導AI 技術基礎研究和產品落地,主要集中在搜索、推薦、對話、問答、教育幾個領域。目前,李航投入主要的精力在產品研發上,但仍有一些精力放在基礎研究上。

例如在搜索領域,李航表示他們今年發表了一篇關於排序學習的論文,提出使用點擊數據訓練搜索排序模型的新方法。因爲點擊數據會有偏差,這個方法能自動做糾偏同時學習排序模型,在搜索中很有效。據悉,這項成果已經用到了字節跳動的搜索引擎中。這項技術的成功爲搜索引擎變成一個自學習的系統邁出了重要一步。

在字節跳動,李航的主攻方向還是自然語言處理、信息檢索、數據挖掘,認爲學術和落地兩者的結合至關重要。他認爲,把研究的成果應用到產品,解決實際問題,同時把具有普世意義的成果,作爲學術論文發表,在計算機領域這樣的工作很有價值。因此,他表示將不斷推動產品開發和學術研究,同時做好兩者之間的平衡。

對李航的現狀有所瞭解之後,我們不妨來了解一下,當初是什麼樣的契機,讓他走上了 AI 研究的道路並一直堅持到現在。相信這會讓有意進入該領域,但是對於未來職業和人生規劃感到迷茫的年輕人受益匪淺。

京都大學留學開始“AI”生涯

李航回憶道,他最初與 AI “結緣”,是1988年,在日本京都大學留學的本科時期。當時,他最早做的兩個工作都是文本生成相關的。然而,彼時的主流技術並不是機器學習,而是基於規則的方法。

讀本科時,李航做了一個叫做 System Grammar(系統文法)的語言學框架,用它進行中文生成;碩士期間,他研發了一個能夠根據不同需求生成多樣表達的系統。但值得一提的是,這兩個項目中使用的都是基於規則的方法。

他回憶道,其實到 90 年代初,機器學習才進入到自然語言等領域,或者說在這些領域產生更大的影響,逐漸變成主流技術。但當李航開始進入這個行業時,狀況並不是這樣,他也未曾想到,機器學習後來會給AI帶來翻天覆地的變化。

回首 90 年代初開始接觸機器學習時的經歷,李航坦誠當時內心也有過一些懷疑,因爲人的語言理解和生成機制與機器學習是完全不同,當時整個業界都認爲應該基於規則建立認知模型,去做一些智能相關的任務。李航說,他的機器學習知識也都是從那時開始,通過自學獲取的。

“可以說,80 年代至 90 年代初,人們對人工智能的期待非常高,比如 80 年代日本有所謂的第五代計算機項目,那時人們覺得人工智能的實現應該通過推理技術,但後來發現那些路根本走不通。接着,在90 年代,人工智能進入低谷期,當時業界甚至都不願意提及人工智能這個詞。相反地,更多的人把 AI 落到實處,用機器學習去做簡單的事情。”在李航的眼中,90 年代的AI從業者和研究者,是一羣務實的人。

務實的 90年代

李航以他自己的親身經歷,講解了 90 年代那羣“務實”的人。他最早接觸的機器學習算法是決策樹,叫做 ID3,這個算法其實只能做一些簡單的事情。再如,基於神經網絡的手寫數字識別,也是一個典型的例子。

李航認爲,這些事情都比較簡單,聽起來也沒有那麼智能,但是當時人們更多地是在腳踏實地做一些實際的事情,沒有過多考慮智能。所以,從 90 年代到本世紀初的10年,在大約 20 年的時間裏,關於人工智能的談論並不多,更多的是用機器學習、數據挖掘去解決實際問題。

2012 年左右,深度學習開始火起來。而實際上,2012-2014年,最火的詞彙還不是人工智能,是大數據。直到 2015年 Alpha Go 橫空出世,人工智能這個詞才又一次完全火爆起來。所以說,業界在不斷髮生變化,技術在演進,大家的關注點和期待,也在隨之改變。

二、新書再版計劃,增加深度學習和強化學習


接着,我們的話題轉到了李航最近的《統計學習方法》第二版。這一次,作者在新版本中加入了無監督學習相關內容。爲什麼要增加這一部分內容?未來這本書還會有哪些變動?

李航指出,無監督學習有若干個不同的定義,《統計學習方法》第二版新增的無監督學習內容主要是傳統機器學習中的無監督學習,與Hinton等人最近說的深度學習中的無監督學習不盡相同。他認爲無監督學習確實是深度學習未來發展的重要方向,有望讓機器變得更加智能化,像人一樣使用語言,比如,自然語言處理領域的BERT 之所以可以發揮巨大的威力,根本原因在於它做了很好的預訓練,就是無監督學習。Hinton 所謂的無監督學習是深度學習的未來,是指類似於 BERT這樣的預訓練方法。從這個意義上來說,無監督學習非常重要。

李航表示,因爲這本書是在業餘時間寫作的,因此耗費時間較長,第一版花了七年,第二版花了六年時間。2012 年《統計學習方法》第一版出版時正值深度學習初火,當時他曾有意加入一些神經網絡的內容,但是擔心時間拖得太久故作罷,所以第一版只對傳統機器學習中的監督學習的主要方法做了介紹。

本來,李航計劃再加上無監督學習的內容就結束本書,但是出版之後受到讀者的歡迎,這使他備受鼓舞,很多人希望再加上深度學習和強化學習,可以看到全新的,沿襲本書簡潔和重點突出風格的內容。所以,李航計劃爲這本書增加深度學習和強化學習,希望可以覆蓋所有機器學習常用的方法,幫助讀者更好更快地掌握機器學習技術。然而,再出新版的時間不能確定,也許要幾年之後。

李航特別指出,這本書的定位並非入門書籍,不一定適合入門者,因爲雖然該書的內容都是最基本的,沒有一定的統計概率知識和其他相關基礎知識,學起來可能有點吃力。他希望,這本書能成爲一本字典一樣的書籍,讓大家能夠反覆研讀,經常使用。


三、對人工智能的洞察與前瞻

回顧人工智能的發展歷史,每一個階段都有會因爲一些技術突破使得領域的發展曲線升向新的高峯,取得巨大進展。近年來,人工智能領域的的一些新技術,或者新思路,比如深度強化學習、圖神經網絡、通用人工智能、神經符號處理等引起了業界的矚目,大家對這些新詞彙或新技術寄予厚望,希望能讓這個領域發生更多的奇蹟。然而,每每被冠以“突破性”的技術,產生的影響果真的有這麼大嗎?李航憑藉 多年的研究經驗,給出了他的看法。

強化學習比監督學習更需要數據

李航曾表示,構建一個複雜的智能系統,原理上需要從“身體“入手,讓智能系統在與環境的互動中進行學習,而強化學習是實現這一目標的有效手段。深度強化學習應用到真實環境中有什麼樣的優勢?深度強化學習在智能系統的學習過程中會起到什麼樣的作用?

深度強化學習是把深度學習和強化學習結合起來,用深度學習學習強化學習模型,所以深度強化學習本質上還是強化學習。

李航表示,當智能系統學習做一些相對簡單任務時,可以使用監督學習,監督學習技術已經比較成熟和實用,但代價是要用很多標註數據。相比,強化學習可以適用於讓智能系統學習做更加複雜的任務。所以,從這種意義上來說,強化學習未來很有前景。

強化學習未來發展前景廣大,但當前卻面臨着一個巨大的挑戰,即強化學習從某種意義上比監督學習更需要大數據,數據成爲當前強化學習發展的最大瓶頸。可以想象,未來5G、物聯網等技術的發展會帶來更多的數據,可能強化學習之後會獲得更大的發展。所以,強化學習是大家都很看好的一個方向。

機器學習做不到和人一樣觸類旁通

目前,統計學習是機器學習的主流,但是統計學習還做不到和人一樣的觸類旁通,自學知識,達到人的學習能力。 統計學習在機器學習中起到什麼作用?機器如何才能獲得人的學習能力?

對於機器學習和深度學習目前取得的一些成果,李航認爲應理性看待,“這讓大家有一種錯覺,認爲機器已經非常接近人,但實際上差得還很遠,這是因爲人類學習和機器學習具有完全不同的機制。人天然具有三個最重要的學習能力,即記憶能力、泛化能力、聯想能力,在機器上實現同樣的學習能力還有很多困難。特別是現在人的學習的具體機理還不是很清楚。”

人的思考機制與機器本質上不同

那麼,有沒有一種方法能夠讓機器做到和人一樣觸類旁通呢?李航認爲還看不到這種可能,要想機器學習做到像人類一樣觸類旁通非常難,做到這一點還需要漫長的時間,至於是多久,他也無法給出準確的估計。

爲什麼機器無法和人一樣觸類旁通?這要從人的學習機制來看。一言以蔽之:人與機器的學習在本質上是完全不同的。

李航講到,人和動物天然具有記憶和泛化能力,這其實是在做概念的存儲和抽象。比如,老鼠吃了一次讓它中毒的食物,就能認識到這種食物不能吃,下次看到同樣的有毒食物就不會再去碰它。也就是說,只用了一個樣本就把有毒食物的特點,如顏色和氣味學到了(記憶了)。在這個過程中,老鼠做了抽象,因爲食物的個體都不是完全一樣的,老鼠能區分哪些東西屬於同類。這些能力都是老鼠生來具有的,有很充分理由相信,人也具有同樣的能力。

此外,人還具有一項重要的能力,它在人的學習或概念形成、推理、語言使用中起到最根本的作用,那就是聯想。聯想是什麼?李航用一個簡單的例子來做了說明,比如現在你看到一瓶水,你可能會聯想到你昨晚也喝過這種水,或者它的生產廠家等。人的經歷不同、場景不同,聯想的內容也不同。人時時刻刻都會做聯想,所以人的思考其實很大部分都是在找到相關的記憶。計算機做檢索的過程其實也是在聯想。我們產生新的概念、做創造發明、學習新知識等常常也是在做聯想。即記憶的機制就是聯想,發明創造的機制也是聯想。

所以,人的這種最基本的思考機制是記憶、泛化、聯想→學到知識。

但是,機器學習目前完全是基於統計,即依靠數據。李航表示,他的書之所以命名爲《統計機器學習方法》,是爲了強調理論和統計的重要性,因爲在他的認知裏,機器學習基本上約等於統計機器學習或統計學習,這也是目前業界的共識。未來也有可能出現其他的機器學習方法,但至少目前來說機器學習就是約等於統計學習。

統計機器學習最核心的想法,就是從大量數據中找到統計規律。即使是深度學習,本質上也是統計學習,用複雜的訓練神經網絡,表示找到的複雜的統計規律,去做一些看似智能,但本質上和人的智能機制不同的事情。

因此,機器學習與人類學習的本質完全不同,所以讓機器達到與人一樣觸類旁通非常難。

圖神經網絡重要,但其作用不應被誇大

近年,圖神經網絡(GNN)的研究火了起來。這是因爲深度學習雖然進展迅猛,但是卻有着無法進行推理的缺陷,而基於圖的深度學習將端到端學習和歸納推理結合起來,使模型兼有表示能力和推理能力,被有些人視爲未來智能技術突破的關鍵。

對此,李航表示,圖神經網絡是很重要的技術,但其作用不應該被誇大。

深度學習,從最基本的深度神經網絡 ,發展到CNN,之後又出現了幾次重大突破,如 GAN、自然語言處理領域的 BERT 等,圖神經網絡也屬於這樣的重大突破。從這個意義上來說,圖神經網絡,GNN是一個重要方向,也是一個大的突破口,很多人在做相關研究,包括字節跳動。

然而,李航認爲,GNN 的特點在於通常以圖數據爲輸入,利用圖上各個節點之間的關係,學習更加複雜的模式,做智能性的判斷和簡單推理。這種意義上它是一個強大的工具,目前在很多應用中已經得到了很好的結果,未來還有很大的發展前景,值得深入研究。但是實現智能的一些關鍵問題,僅靠GNN還不能解決。它是未來重要的研究方向,但並非唯一方向。

“人類研究人工智能這麼多年,苦於不知道如何把自己的知識告訴計算機,以實現人類智能,GNN並沒有本質解決這個問題 ,單靠GNN實現人類智能,我認爲不現實。”李航說道。

符號處理+神經處理、多模態讓機器更加智能

上面討論了一些機器學習領域很重要的技術,但是顯然每一項技術單獨來看都有侷限性,無法單純依靠某種技術實現人的智能。那麼問題來了,如何才能讓機器變得更加智能呢?我們至少需要一些思路。

李航認爲,要實現人工智能,需要解決的一個重要問題是把符號處理與神經處理結合起來。

他首先解釋了大腦的思考機制。人類的智能有兩個層面,一個層面是人的大腦,是一個包含 1000 億神經元,1000萬億聯接的複雜神經網絡。這個網絡每個時刻都處於不同的狀態,信號在網絡中傳輸,網絡狀態發生變化。人工神經網絡一定程度上與人腦神經網絡相似,比如兩者都是在網絡結構中引入一些輸入,做各種變換,之後產生一些輸出。現在,深度學習中是用向量、矩陣或張量進行神經表示。但是,人工神經網絡比人腦簡單得多。

另外一個是意識層面,即人類做推理、理解語言、使用知識的層面,意識層面的東西大致可以用符號表示,對應着計算機的符號處理。但這方面的機制,我們並不十分清楚,腦科學和認知科學有一些假說。人腦中,意識層面的符號處理和腦層面(下意識層面)的神經處理是如何結合的還完全不清楚。

但是,看來要推進機器使用人類語言的能力,即自然語言處理能力,可能需要神經符號處理,就是把神經處理和符號處理兩者結合起來,這樣才能使機器更接近人。

另一個重要問題,多模態技術也是實現人工智能的關鍵技術。近年來也引起了大家廣泛關注。

李航對此表示認同,他講道,人的智能中的模態其實並沒有明確的劃分,人思考時大部分情況下都是在進行一種多模態“處理”,結合了視覺、聽覺、觸覺、味覺等各種模態。未來,相信隨着數據的增多,計算能力的增大,多模態技術將能夠做到更多,有望成爲AI技術的一個突破口。

另一個重要問題是Hinton等所說的無監督學習,這裏不在重複。

通用人工智能展望

實現通用人工智能,是人工智能領域的終極目標。李航在 2016 年的一次採訪中曾預測,通用人工智能可能要 500 年才能實現,但或許永遠都不可能實現。時隔三年,隨着人工智能領域的進一步發展,李航的觀點有改變嗎?

“我不太喜歡用強人工智能、弱人工智能、通用人工智能的說法,因爲這幾個概念都沒有嚴格的定義,很多時候大家說的並不是同一個東西。但是AI領域會不斷髮展,機器智能的水平會不斷提高,這一點是不容置疑的。當時,被記者要求一定要說個數字,就隨便說需要500年才能實現通用人工智能,其實沒有科學的依據。”李航說道。

所謂的通用人工智能還是很遙遠的。比如,機器很難具備常識和情感,即使是簡單的常識性推理對於機器來說也是一道很難跨越的門檻,更不用說具有情感的機器。而這些都是人類智能的一部分。

面向未來,李航預測,從功能主義的角度來說,今後有相當長一段時間,瞄着實現合理行動的機器、合理思考的機器,把符號處理和神經處理結合起來,加上無監督學習、多模態等技術,可以讓系統的智能程度上升好幾個臺階,但是它最核心的可能還是機器學習,未來 50年,我們仍在使用這些最基本的技術,看來這個概率最大。

從另外的思路來看,常識推理、因果推斷等也是一些重要的研究方向,希望它們能和機器學習結合起來。可以預見,合理行動、合理思考的機器會根據不同的場景需求,組合衍生出各種各樣的智能系統和智能工具。

未來若干年,很有可能AI發展將會慢一些,突破會少一些

當然,李航談論了他對於機器學習發展的看法。他說道,就像人的智能發育是一個漫長的過程一樣,機器智能的構建也需要漫長的積累。人雖然自出生的那一刻起就具備了基本的認知和感知的能力,但是後天成長中也需要漫長的學習過程,不斷積累才擁有了各種知識,具備了各種能力。

雖然李航認爲機器學習的發展距離人的智能還有相當大的距離,但有幾件事情是可以預見的:機器最強大能力就是計算和存儲,過去 30 年,計算的速度、存儲的容量、通訊的速度都提升了 100 萬倍,未來 30 年、100年、500 年以後仍會飛速增長。如果我們能讓機器很好地利用大數據和大算力,進行自主學習,這在將來帶來革命性的變化。

“我的感受是人工智能研究其實需要長時間的積累,2012 年到 2018 年這段時間有很大的突破, 大家的期待特別高,以爲今後一直會同樣高歌猛進。然而事實並不是這樣,大部分研究實際上都是需要不斷積累,緩慢進步,不斷髮展的。包括深度學習大師 Yoshua Bengio 最近也在說,人工智能技術研究需要長期積累,我對他這句話的解讀是,人工智能的發展也是有高峯和低谷的,我們不會永遠處於高峯。未來若干年,概率最大的可能性是,人工智能相對前幾年發展會緩慢一些,新的突破會少一些,但是還是會不斷進步。未來還有更多有挑戰性的問題,需要大家不斷克服,持續積累,對於 AI,我們要有一個正確的期待。”

採訪嘉賓

李航,字節跳動人工智能實驗室總監,北京大學、南京大學客座教授,IEEE 會士,ACM 傑出科學家,CCF 高級會員。他的研究方向包括信息檢索,自然語言處理,統計機器學習,及數據挖掘。李航 1988 年日本京都大學電氣 工程系畢業,1998 年獲得日本東京大學計算機科學博士。他 1990 年至 2001 年就職於日本 NEC 公司中央研究所,任研究員,2001 年至 2012 年就職於微軟亞洲研究院,任高級研究員與主任研究員。2012 年至 2017 年就職於華爲技術有限公司諾亞方舟實驗室,任首席科學家、主任。李航一直活躍在相關學術領域,曽出版過三部學術專著,並在頂級國際學 術會議和頂級國際學術期刊上發表過 120 多篇學術論文,包括 SIGIR, WWW, WSDM 等。李航參與了多項產品開發,包括 Microsoft SQL Server 2005, Microsoft Office 2007, Microsoft Live Search 2008, Microsoft Bing 2009, Bing 2010, Office 2010, Office 2012。他擁有 42 項授權美國專利。李航還在頂級國際學術會議和頂級國際學術期刊擔任大會程序委員會主席、資深委員、委員、期刊編委,包括 SIGIR, WWW 等。

(*本文爲 AI科技大本營原創文章,轉載請聯繫微信 1092722531)

【End】

CSDN全新人物專欄重磅上線

在這裏插入圖片描述
PS:今日福利!

同樣作爲百萬人學AI的重要組成部分,2020 AIProCon 開發者萬人大會將於6月26日通過線上直播形式,讓開發者們一站式學習瞭解當下 AI 的前沿技術研究、核心技術與應用以及企業案例的實踐經驗,同時還可以在線參加精彩多樣的開發者沙龍與編程項目。參與前瞻系列活動、在線直播互動,不僅可以與上萬名開發者們一起交流,還有機會贏取直播專屬好禮,與技術大咖連麥。

評論區留言入選,可獲得價值299元的「2020 AI開發者萬人大會」在線直播門票一張。 快來動動手指,寫下你想說的話吧

點擊鏈接,觀看直播吧!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章