中國科學院院士,北京大學教授鄂維南 :機器學習的數學理論丨智源大會

{"type":"doc","content":[{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"2021 年 6 月 1 日,由"},{"type":"link","attrs":{"href":"https:\/\/www.baai.ac.cn\/","title":"","type":null},"content":[{"type":"text","text":"北京智源人工智能研究院"}]},{"type":"text","text":"主辦的"},{"type":"link","attrs":{"href":"https:\/\/2021.baai.ac.cn\/","title":"xxx","type":null},"content":[{"type":"text","text":"2021 北京智源大會"}]},{"type":"text","text":"在中關村國家自主創新示範區會議中心開幕,會期三天。智源大會是北京創建全球人工智能學術和創新最優生態的標誌性學術活動,本文爲 InfoQ 記者帶來的現場報道。"}]}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"以下內容根據演講速記進行整理,未經本人確認。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":" "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"非常感謝宏江和主持人的邀請。本來我今天演講的一個題目叫“機器學習的數學理論”,我下了很大的決心纔給大家講這個題目。講這個題目是準備給大家講一下數學定理的,現在看十一點多了,我就講一個稍微科普一點的題目。但是還是講一講爲什麼我想選這個機器學習的數學理論爲題目。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"大家都知道這一輪人工智能最根本的原因就是機器學習取得的進步,深度學習,但是在這個學習裏面有兩個很嚴重的問題:"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第一,很多人都覺得機器學習像工程化的學科,不是像科學的學科,這一點應該改變。應該說經過這幾年下來,已經有一個理解機器學習的初步數學框架,儘管還有很多的問題沒有解決,但我們已經不是生活在一個盲人區裏面,我就想給大家介紹咱們的數據框架。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二,機器學習雖然取得了很多成功,但是這個領域有很多混亂的現象,給大家一些似是而非的東西,甚至有一些誤導性的。有一些文章,說某某算法、某某模型是Trend,我們會給它一個結果,讓大家相信它的差距,我個人認爲它是非常嚴謹的,另外一個目的是推動。我們在這裏面講一下基礎理論的時候,能夠有一個更加嚴謹的學風。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"我看了一下今天學數學的比較少,這個題目是我這幾年探討的方向。從最簡單的科學研究講起。科學研究的基本目的,"},{"type":"text","marks":[{"type":"strong"}],"text":"一個是尋求基本規律"},{"type":"text","text":",行星運動的三大定律,包括量子科學的基本方程。"},{"type":"text","marks":[{"type":"strong"}],"text":"另外是解決實際問題"},{"type":"text","text":",工程學科、製造行業、航天航空材料等。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"有兩種基本方法。第一種方法叫"},{"type":"text","marks":[{"type":"strong"}],"text":"開普勒範式"},{"type":"text","text":",從數據中直接總結出規律。比如行星運動圍繞太陽轉一圈需要的時間的平方,設是橫軸;縱軸是行星和太陽之間的立方,可以知道時間的平方跟立方成正比。這是最成功的案例,因爲人力基因工程,大家可能還比較不熟悉。這是一個基本的基礎。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二種情況我們把它叫做"},{"type":"text","marks":[{"type":"strong"}],"text":"牛頓範式"},{"type":"text","text":",尋求基本原理來解決實際問題,比方說同樣是回到行星運動的三大規律。牛頓第二定律,就是加速度與力成正比。牛頓同時發現了萬有引力的定律,它說力和距離的平方成反比,這兩個加在一起,它不僅僅是一個數學的問題,還有微分方程的問題。通過解這個微分方程可以得到開普勒三大定律,這是一個基本原理的套路。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"因爲牛頓力學是物理學,物理學是尋求基本原理的一個整個結晶,所有自然學工程科學的基礎都來源於物理學,無論做化學、生物的,最基本的原理是物理學,物理學也成爲自然科學、工程科學的基礎。除了牛頓力學以外,還有電磁場理論、量子力學,這些都是基本原理的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"通過這些基本原理,物理學的問題又變成了數學問題,而且不僅僅是數學問題,是微分方程問題,而且不僅是物理學的問題,可以說是科學的問題、工程學的問題,嚴格來說都變成了微分方程的問題,1982年開始學微分,我剛剛出道就是乾的這件事情,幹了幾十年。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"總結一下開普勒範式非常高效和直接,但是問題在於知其然,不知其所以然。開普勒雖然發現了行星的三大運動定律,但是不知道原因是什麼。牛頓的發現很深刻,但是很難用來解決實際問題。90年前量子學建立以後,Dirac告訴大家,我把這個話重新說一下。他說除非你關心的是物理裏面最最極端的情況,比方說高能物理、核武力,或其他的問題,大部分出現的化學問題也好、材料的問題也好,都可以用量子力學作爲基本的原理來解決。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"基本原理的問題有了,基本原理的道路已經基本上完整。但是困難在於這些基本原理作爲數學模型太困難了,給大家舉一個例子,就是說一個方程,量子力學的基本原理。這個方程做數學的人來說是一個線性化,就是簡單的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Bad news是非常高能的。一個體繫有100個電子,方程就是300個,基本按300個微分方程。100個電子它是非常簡單的體系,而300微的微分方程是非常困難的微分方程,這就是薛定諤方程的一個基本的問題,多體問題。而且從數學的角度來說,這也是一個很困難的事。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"其他的基本原理,比方說空氣動力學有歐拉方程,流體力學有相對應的方程,還有彈性力學有相對的方程,電磁場也有相對的方程。這些都是五個層次的基本原理,也都是很困難的微分方程問題。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這些基本的原理出現以後,長期很長一段時間雖然有了這個基本原理,但是人們並不能用這些基本的原理解決實際問題,所以碰到實際的問題還是隻能採取非常簡化和經驗的辦法來解決,這是很長一段時間的情況。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第一次突破是50年代有了電子計算機,有了數字方法,所謂的數字方法就是差分方法、有限元方法,譜放方法,這是我們做的優先的事情,我跟老師學的就是這些東西。有了這些數字方法以後,人類歷史上第一次大規模地實現了集電路的直接用基本原理來解決這個問題,數學的角度可以用分享式或者是多變分享式來有效逼近一般函數,就是用這些數字方法基本出發。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"它帶來的影響顯然是非常巨大的。我們這個房子能夠造起來,在造之前都已經做了有限元結構力學的模擬,房子造起來不能跑掉。航空、航天、天氣預報、石油勘探等等等等,尤其是做工科的,在工科裏面計算方法已經成爲了很主要的工具,我不好意思做圖片,三分之一、二分之一做工科的老師,實際他們做的事情就是用這個方法解決他們的問題。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"可以說現代技術,工業的技術是賴以生存的技術,剛纔我提到造房子、造橋、造飛機等等,這都是基礎。但是並不是所有的問題都解決了,還有很多的問題沒有解決,比方說從第一性原理設計材料,甚至來研究材料,不要說設計材料,研究材料的性質,這個問題遠遠沒有解決。從第一性原理,基本原理是以分子。基於基本原理的共振方法,待會兒給大家舉一個例子,這也是遠遠沒有得到解決的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"還有燃燒,像我們在很多場合下面講內燃機,航天航空,尤其是航空,攻這個課題,內燃機等等的問題,也從他們的設計和控制方面遠遠沒有解決。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"造成的場景是什麼呢?造成的場景就是在這些領域裏面做理論的和做實踐的。實際問題就是三波不同的人,完全幾乎是不大相吻合的。物理裏面做理論的、做實驗的,這是非常密切合作的羣體,但是化學就不一樣,就這麼簡單。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"這些問題爲什麼困擾?它們都有一個共同的根源,這個根源就在於維數災難。"},{"type":"text","text":"如果大家沒聽說這個詞,我希望你們從今天開始記住這個詞——“維數災難”。什麼意思呢?這些問題有一個共同特徵,它們背後依賴的變量太多了,這個變量就是維數。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"我剛纔提到線性方程,100多個電子的體系,它是300微量,300微就是300維。下面有一個變量,維數的變量是說隨着維數的增加,計算複雜性和計算量呈指數增加。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"爲什麼會出現這個情況?從數學的角度來說根本的原因在於高維的時候,多項式已經不是一個有效應對了,雖然你任何一個多項式應對函數,但是需要的項數太多了,項數隨着指數增加,機器學習和深度學習光明的地方。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"舉幾個例子:"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"一個是圖像識別,在座的很清楚,圖像識別上大家可以告訴我是什麼內容。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二個是人臉照片的生成,大家看到人臉的照片,有一個共同的特徵,都是假的,都不是真實的人臉照片。我們爲什麼能做這件事情?我們也有這個模型,比如說把人臉看作是一個人的照片,看作是隨機變量,這個隨機變量背後的分佈我們不知道,但是我們知道它這樣一個樣本是真實的照片,真實的人體照片可以用這個影像樣本點,根據概率把它學的足夠的準確,非常的準確,在這個基礎上我們生成新的樣本,新的樣本就是假人的照片。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第三個例子,大家非常熟悉的Alpha Go,這三個例子本質上是在解決三個很基本的數學問題。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"numberedlist","attrs":{"start":1,"normalizeStart":1},"content":[{"type":"listitem","attrs":{"listStyle":null},"content":[{"type":"paragraph","attrs":{"indent":0,"number":1,"align":null,"origin":null},"content":[{"type":"text","text":"圖像識別是在逼近一個高維空間的函數,這個空間有多少維?3072維。爲什麼是3072維?因爲每個圖片都是32×32的象素,顏色是三維的,乘在一起就是3072。這個事情從數學家的角度來說就是3072維空間的函授,這個在以前是想象不到的。"}]}]},{"type":"listitem","attrs":{"listStyle":null},"content":[{"type":"paragraph","attrs":{"indent":0,"number":2,"align":null,"origin":null},"content":[{"type":"text","text":"高維空間的概率。"}]}]},{"type":"listitem","attrs":{"listStyle":null},"content":[{"type":"paragraph","attrs":{"indent":0,"number":3,"align":null,"origin":null},"content":[{"type":"text","text":"解一個超大空間上面的一個beami方程,前面提到強化學習,最基本的原理就是beami方程,就是解決這個方程。"}]}]}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這三個例子都是解決高維的數學問題,無論是高維的函數也好,還是或者是密度,或者是高維方程式,都是解決這個高維的數學問題。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"爲什麼做到這一點?原因在於深度學習對於高維函數的逼近提供了有效的幫助。多項式的高維是不行的,多項式有效替代就是生物的使用。而函數是數學裏面最基本的工具,大家在初中裏面學的是數字,到了高中學平面幾何,學代數方程、一元一次方程、一元二次方程,到了大學學的最基本的概念就是函數。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"所以在如此基本的數學工具上,我們有一個數學概念,我們有一個全新的數學工具,它給我們帶來的影響顯然是非常巨大。2014、2015年我認識到這一點,放棄我以前做的所有東西來研究機器學習。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"舉幾個簡單的例子,有了深度學習對我們關心的問題,不是大家關心的人不臉識別也好、自動駕駛也好,我關心的問題就是我前面提到的科學問題或者科學計算的問題能夠給我帶來什麼樣的改變。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第一,高維控制問題。高維控制長期以來走向,維數戰略這個詞發明了動態規劃,有一個基本的原理,同時它也提出了,也看到了維數災難這個問題,也看到了這樣一個術語。因爲有維數災難,它碰到的長期困境是什麼?就是做控制類基本算法研究的,基於這個基本原理,也就是這波人,和真正解決工業控制的那波人,完全是兩波人。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"關於工業控制大家有沒有聽說過Comman filtering?Comman filtering是工業控制學一個非常重要的工具,但是Comman filtering是一個對線性系統使用的工具,它原則上只跟線性系統相結合,但是通常工業控制顯然不是線性的。Comman filtering很重要的一個原因,我們沒有其他的辦法,只有想方設法把一個使用線性的系統工具,想方設法用非線性的工具,而且這裏有很多的近似是沒有道理可講的,也就必須放棄基本的原理。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":"我們過去有一個很重要的觀察,就是說控制問題,尤其是隨機控制問題,它跟深度學習之間有一個非常驚人的相似,這兩個事情是非常非常相似的。"},{"type":"text","text":"這樣一個很簡單的觀察,基於這個很簡單的觀察,我們就可以用控制論的辦法來解決深度學習的問題,用深度學習的辦法,來解決控制論的問題,用控制論的方法解決深度學習的問題。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"比方說控制論裏面有所謂的極大值原理,我們就可以基於Moxion princlple就可以解決一個方法,我們就可以解決高維的控制論問題,這裏面是一個人工造成的例子,就是所謂的enegry storage這樣一個例子,結果我就不多節結果就是幾百維甚至於上千維的例子不再是困難的事情,這在以前是難以想象的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二個例子,分子動力學,分子動力學乾的是什麼事情,就是在研究分子或者材料的時候,我通過觀察每一個原子的動力學軌跡來研究材料的性質或者是分子的性質。這裏面大家看到動的是水,是描述水,一堆水分子相互作用跟分工學習。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"紅色的點是氧原子,灰色的點是氫原子。所以分子動力學解決的就是牛頓方式,它困難在什麼地方呢?困難在於我們怎麼樣描述原子和原子之間的相互作用,而原子和原子之間的相互作用是通過電子來耦合。電子,我剛纔已經提到訓練方程量子力學的原理,它長期以來怎麼走到這個原子和原子間的相互這樣的一個函數,傳統的辦法就是拆,沒有別的辦法,就是拆。它的惰性氣體是怎麼做的,金屬、合金等等。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"我們國家曾經有過幾個“973”項目,就是爲了研究核心的智能函數,就是來找這個核心的自然的參數,就是一些需求。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"1985年有一個劃時代的東西,兩個意大利的化學家,明天有一個科學智能的論壇,其中有一個是明天科學智能論壇第一位演講的嘉賓。它的方法是通過用量子力學的模型辦法來算原子算法。1985年開始,人們真的用分子動力學去描述某個具體的體系,以前的分子動力學就像自娛自樂,很難說得清楚我是在模擬哪個體系。現在,我們可以說針對於這個體系學也好,其他體系也好,因爲可以通過量子學在線的原子和原子的作用力。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這個方法非常可靠,但是它效率很差,就是把所有的高性能都放上去,它就是可以處理1000個人的體系,當然有一些小的體系就不適用。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"現在有一個新的套路是什麼?量子力學只提供數據,用機器學習來提供模型,再做分子的東西。如果做得好,可以玻璃這個方法既可靠,有量子力學的精度,又有效,像經典模型一樣。這個例子其中的困難我就不講了,技術困難就不講了。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這張幻燈片就是用剛纔我說的套路,深度智能模型,剛纔提到了深度智能模型,模擬各種不同的體系,從小分子,大家看到上面第一個是醫藥,第二個是燃料,第三方面是高端核心的材料。可以看到精度都是非常準確的,這個精度基本上跟原來的量子力學模型的精度差不多。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在這個基礎上,這是去年剛纔提到的Golden bell price,我們在排名第二的高性能計算機上實現了量子力學精度的分子動力學模擬,上億個原子的量子動力學模擬,現在甚至可以做到10個hundred,快到100億,70多億了。這是7個數量級的提升,這樣的事情給我們帶來的空間是巨大的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"下面是空氣動力學,它有一個基本的問題,比方說這個屋子裏談空氣動力學,這不是特別困難的問題,但是因爲你研究的是航天飛機,飛到天上去以後,碰到的是稀薄氣體,尤其是從天上回來的時候,它從稀薄氣體進入到大氣層同一氣體。這兩個環境不一樣,同一氣體用歐拉方程,稀薄氣體用玻爾茲曼方程。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"50年代開始,人們就在研究怎麼樣找到一個模型,能夠把這兩個結合在一起,既像歐拉方程那麼減慢,又像玻爾茲曼方程那麼準確,不管是對稀薄氣體還是什麼氣體。但是70多年這個問題一直沒有得到解決,最後也是通過機器學習,我們把它做了一個很有效的辦法,至少目前看起來在很多情況下可以得到使用,不管在什麼環境下都可以使用類似於歐拉方程。這個細節不多講。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"舉剛纔的這些例子,我們不可避免的會碰到一個問題,我想告訴大家,"},{"type":"text","marks":[{"type":"strong"}],"text":"我們現在用機器學習幫助我們做新的物理模型,"},{"type":"text","text":"我試圖告訴大家這個事情。物理模型,我們知道它非常的準確,非常的可靠,也很容易解釋,而且它的參數很少。機器學習構造出來的新物理模型,它有沒有類似的,可不可以有類似的性質?"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"也就是說我們怎麼用機器學習來幫助構造既有效,又可靠,又可解釋的物理模型。有效,指如果跟原來的模型一樣複雜就沒有意義。可靠就是新構造出來的模型要跟原來的確定方程一樣可靠可信賴可解釋。當然,關鍵的問題在下一期美國物理期刊上physics today有闡述。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"我們做機器學習,跟大家講這個圖像的學習,跟別人不一樣的地方是什麼?我們並沒有別人給我們準備好數據,而是自己學習。我前面舉的例子C for是別人已經準備好的數據,我們沒有,我們必須自己來。它怎麼產生數據,它都是非常昂貴的。比方方程動力學,每產生一個數據點,都是要通過量子力學計算的,量子力學計算很複雜。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這裏有一個算法,EELT算法,大家看到這個效果,最右邊試圖從這種辦法來產生一個與鎂可靠的物理模型和分子中文學模型。如果你不用這個算法,可以發現對差不多5億多個構型來做量子力學計算,這5個億多構型做量子力學計算基本不可替代。用到這個算法可以用不到2億多個構型做量子力學計算,這是第一個模型。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二個模型,我們的機器學習模型基於物理原理來的,所以物理原理的基本約束不能破壞。比方說物理裏面的對稱性、守恆律等等,這些我們也必須遵循這些規律。所以我們在做機器學習模型的,這些新的因素要考慮進去。不管怎麼樣,我們對很多的新問題都可以解決剛纔提到的這些事情。它將會產生的結果是什麼?"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"從量子力學的方式,到方程,到運動的範圍。它有一個CGMG,CGMG是什麼呢?是數列化的方程。比如做生物、做化工的,那個時候就不能再單獨列原子了,它太複雜了,必須對原子體系做數列化。這個應該說是化工生物裏面的一個基本。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"玻爾茲曼方程剛纔提到空氣動力學。它基本上科學領域從物理化學、雲計算物理、化學材料、生物化工,再到航空航天、機械工程,再到大氣,基本的模型都在上面。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"20年前,理論科學界做的什麼事情,多尺度模型,我們在很多情況下,比如化工裏基本原理太少了,化工裏的源自方程式到現在都不知道怎麼寫,我們在底層有比較可靠的物理模型,我們能不能設計一套新的算法,用底層的物理模型解決大尺度的問題,這是20年前非常風靡的多尺度模型要解決的事情。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這個項目,我個人認爲沒有像我們想像的那麼成功,歸根到底,我們裏面缺乏了像機器學習這樣的工具,2014年我認識到機器學習可以幫助我們解決這個問題的時候,所有的精力都放上來做這個事情。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"基本上,20年前的一個夢想,很有可能在五年十年內得到很好的實現,因爲我們缺的工具就是機器學習,剛纔舉了分子動力學的例子,有一張幻燈片還講了其他的,包括怎麼做更準確的粗略化的分子動力學模型,都有非常好的進展,對我幹了幾十年的事情,真的沒有想到這個夢想有可能實現。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二個主題,人工智能,我不是做人工智能的,我講人工智能實際上就是機器學習,但是我還想說幾句話。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第一,我認爲"},{"type":"text","marks":[{"type":"strong"}],"text":"傳統的科研領域應該成爲人工智能的主戰場"},{"type":"text","text":",而且不僅僅是主戰場,很可能是未來十年最大的主戰場,傳統的科研領域就是化學、材料、電子工程、化學工程、機械工程等等。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"它會產生兩個方面的結果,第一全面提升科研能力,以前做材料的模擬,我自己親身參與過,比如搞個合金,研究某個合金的性質,我們要找一個博士後做量子力學計算,這個肯定要搞兩三年,然後這個博士後走了,搞一個新的博士後進來,擬合數據搞一個經驗式能函數,這個博士後又走了,第三個博士後過來做分子動力學模擬,研究這個合金的性質,這麼搞下來十年過去了。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"我親身經歷過這件事,這個模式叫做小農作坊的模式,從前到後全部自己搞定了,自給自足,但是最大的問題是效率極差,以前沒辦法改變這個形勢,現在不一樣了,我們可以做統一的大平臺,分子動力學,深度勢能就搞定了,不要再搞其他的模型了,而且這個事情門檻也比較高,剛纔我提到的這些不同尺度的物理模型,我們都有通用的大平臺來幫助你解決基本問題。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"廣大的做計算的做模擬的做設計的這些科學工作者不需要自己搞這些東西,你可以在這些平臺上做你感興趣的應用的開發就行了,這個效率跟小農經濟的模式完全不一樣,我把這個叫做“安卓模式”,這是第一點,全面推動,至少我們做理論的人非常堅信的相信十年以後我們會走到這個模式上。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二點,能夠推動對當下工業技術的分解,比如現在熱捧的AI製藥,差距比較大,很多錢投在裏面,藥物、材料、航空航天、燃燒、控制等等,這些傳統的或者不是那麼傳統的技術有一個全面的升級,這是我們當下的技術,基本的技術都是靠他們撐起來的,智能製造等等,全面的升級,所以他帶來的影響是巨大的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二句話,我是做數學的,我們當然關心基礎,人工智能的基礎算法,基礎的研究,這裏面講兩點,第一,機器學習的基礎是什麼?我認爲已經成型了,除了這個以外,圖像、自然語言、機器人等問題,我們也應該有基礎的數學模型,舉個例子,比如自然語言處理,給自然語言構造一個數學模型,這是非常複雜的任務。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"舉一個例子,怎麼樣定義語義,什麼叫語義?可能很多人有不同的定義方法,語義是翻譯不變量,這句話我寫在這兒是一句數學語言,我這個翻譯是一個算子,我這個不變量是數學裏的不變量。具體舉個例子,我兩種語言,A和B,A和B之間兩種語言翻譯有一個算子,T,從A到B,或者T從B到A,這兩種語言本身有它的生成算子,PA或者PB,語義不變,那個PA的數學等式,如果大家還記得線性算術,PA和PB這兩個是相互矩陣,特徵值是一樣的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"概念來講是很容易的一件事,具體要把它實現,必須定義什麼叫PA,什麼叫PA,這些算子必須定義出來,T的算子怎麼定義,這些問題,我和我的一個博士後,他懂20多種語言,而且他學一種新的語言只要一個禮拜,基本上都是他完成的。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這裏面舉個例子,左邊這個圖畫的是一本書,比如《物種起源》《傲慢與偏見》,基於這本書的語料生成這樣的算子,有了這些算力以後算它的譜,你發現它的譜對不同的語言真的是一樣的,這裏只列了四種語言,英語、法語、俄語、芬蘭語,其實我們試了20多種語言,基本上都是這樣的結果,這個譜真的是不變的,所以我們把譜定義成語義。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"我們研究這個事情幹什麼?除了作爲數學家,我們有擋不住的衝動,把每個東西說的很精確以外,它的實際意義在於什麼。我可以基於一本書來做自然語言處理,“悟道”的概念是基於人類所有的語料做自然語言處理。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"Yoshua Bengio的演講是怎麼樣基於一個句子做自然語言處理,所以要有其他的背景。我這裏講的是怎麼基於一本書做自然語言處理,有一定的實際意義。這裏面只是告訴大家概念,這一類的數學模型是有意義的,不光是我們,也有人追求的也是這件事,只是做法跟數學的做法不太一樣。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"機器學習的數學理論,爲什麼機器學習如此的成功?我剛纔提到那麼高維的問題,傳統的辦法做不了,機器學習能做,爲什麼?這對我們來說是非常困難的問題,我們必須回答的問題。這是第一點。第二,爲什麼機器學習那麼的Fragile,大家知道,調參是非常重要的,參數變一變,Performance會差很遠,我不多講了,這是爲什麼?這個我不多講了,這有一定的理解。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"總結:"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第一,科學研究走上了快車道。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第二,推動研究和技術創新更加的密切。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第三,人工智能深入到科學研究技術創新的方方面面。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"第四,數學的發展面臨着前所未有的機會,當然也是個挑戰。"}]}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"我四月份在美國數學會雜誌上有一篇文章,這篇文章是我幾十年來做應用數學思考的結晶,真的是幾十年來考慮的問題,五六年前,我對應用數學還是比較悲觀的,雖然我從事了一輩子應用數學,現在我這個觀點徹底改變了,原因很簡單,應用數學缺的就是機器學習,我有物理模型,有方程和各種各樣的分析方法工具等等。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"以前應用數學面臨的困境是缺機器學習這樣的工具,如果純數學的缺了代數,這個純數學將是什麼樣子,做物理的缺了電磁場,物理學將是什麼樣,應用數學前幾年缺了很重要的一塊。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"一方面,我認爲,機器學習從模型算法角度是個數學的問題,並不是只有數學家才能做,本質上在做模擬函數,模擬概率密度,解方程這樣的事情;另一方面,他也給我們長期面臨的困難問題提供了非常有效的解決方案,數學的發展面臨着前所未有的機會,同時也是個挑戰。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"機會不用多說了,挑戰,我們做數學的人如果抓不住這個機會,我們可能就被科學發展的大流拋棄了,淘汰了,而數學家是非常保守的羣體。舉個例子,我們應用數學裏也做圖像但是隻做圖像處理,從來沒想過做圖像識別,圖像處理是一個圖像拿過去去噪、壓縮,這是二維的問題,而圖像識別纔是高維的問題。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"我們連想都沒有想到過我們要搞圖像識別,因爲這個問題我們認爲是不可能做的,太困難了,我們缺乏這種冒險精神,這對我們來說也是文化方面的挑戰,我們只有具備更大的冒險精神才能把握住這個機會。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"謝謝大家!"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"blockquote","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"鄂維南,院士是中國科學院院士,北京大學、普林斯頓大學教授。鄂維南教授在應用數學和科學計算的相關領域做出了突破性貢獻,獲獎無數。包括1996年首屆美國總統青年科學家與工程師獎,2003年第五屆國際工業與應用數學協會科拉茲獎,2009年獲得美國工業與應用數學學會克來曼獎;2011年當選爲中國科學院院士;2012年入選美國數學學會會士;2014年美國工業與應用數學學會卡門獎,2019年度Peter Henrici獎,開創性地將深度學習引入到科學計算中。"}]}]}]}
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章