談談機器學習(Machine Learning)大家

閒着無事，想寫點一些我所瞭解的machine learning大家。由於學識淺薄，見識有限，並且僅侷限於某些領域，一些在NLP及最近很熱的生物信息領域活躍的學者我就淺陋無知，所以不對的地方大家僅當一笑。
　　
　　Machine Learning 大家(1)：M. I. Jordan
　　
在我的眼裏，M Jordan無疑是武林中的泰山北斗。他師出MIT，現在在berkeley坐鎮一方，在附近的兩所名校（加stanford）中都可以說無出其右 者，stanford的Daphne Koller雖然也聲名遐邇，但是和Jordan比還是有一段距離。
　　
　　Jordan身兼stat和cs兩個系的教授，從他身上可以看出Stat和ML的融合。
　　
Jordan 最先專注於mixtures of experts，並迅速奠定了自己的地位，我們哈爾濱工業大學的校友徐雷跟他做博後期間，也在這個方向上沾光不少。Jordan和他的弟子在很多方面作出 了開創性的成果，如spectral clustering， Graphical model和nonparametric Bayesian。現在後兩者在ML領域是非常炙手可熱的兩個方向，可以說很大程度上是Jordan的lab一手推動的。
　　
　　更難能 可貴的是， Jordan不僅自己武藝高強，並且攬錢有法，教育有方，手下門徒衆多且很多人成了大器，隱然成爲江湖大幫派。他的弟子中有10多人任教授，個人認爲他現 在的弟子中最出色的是stanford的Andrew Ng，不過由於資歷原因，現在還是assistant professor，不過成爲大教授指日可待；另外Tommi Jaakkola和David Blei也非常厲害，其中Tommi Jaakkola在mit任教而David Blei在cmu做博後，數次獲得NIPS最佳論文獎，把SVM的最大間隔方法和Markov network的structure結構結合起來，赫赫有名。還有一個博後是來自於toronto的Yee Whye Teh，非常不錯，有幸跟他打過幾次交道，人非常nice。另外還有一個博後居然在做生物信息方面的東西，看來jordan在這方面也撈了錢。這方面他有 一箇中國學生Eric P. Xing(清華大學校友)，現在在cmu做assistant professor。
　　
　　總的說來，我 覺得 Jordan現在做的主要還是graphical model和Bayesian learning，他去年寫了一本關於graphical model的書，今年由mit press出版，應該是這個領域里程碑式的著作。3月份曾經有人答應給我一本打印本看看，因爲Jordan不讓他傳播電子版，但後來好像沒放在心上（可見 美國人也不是很守信的），人不熟我也不好意思問着要，可以說是一大遺憾. 另外發現一個有趣的現象就是Jordan對hierarchical情有獨鍾，相當多的文章都是關於hierarchical的，所以能 hierarchical大家趕快hierarchical，否則就讓他給搶了。
　　
　　用我朋友話說看jordan牛不牛，看他主頁下面的Past students and postdocs就知道了。
　　
　　Machine Learning大家（2）：D. Koller
　　
D. Koller是1999年美國青年科學家總統獎(PECASE)得主，IJCAI 2001 Computers and Thought Award(IJCAI計算機與思維獎，這是國際人工智能界35歲以下青年學者的最高獎)得主，2004 World Technology Award得主。
　　
　　最先知道D koller是因爲她得了一個大獎，2001年IJCAI計算機與思維獎。Koller因她在概率推理的理論和實踐、機器學習、計算博弈論等領域的重要貢 獻，成爲繼Terry Winograd、David Marr、Tom Mitchell、Rodney Brooks等人之後的第18位獲獎者。說起這個獎挺有意思的，IJCAI終身成就獎（IJCAI Award for Research Excellence），是國際人工智能界的最高榮譽; IJCAI計算機與思維獎是國際人工智能界35歲以下青年學者的最高榮譽。早期AI研究將推理置於至高無上的地位; 但是1991年牛人Rodney Brooks對推理全面否定，指出機器只能獨立學習而得到了IJCAI計算機與思維獎; 但是koller卻因提出了Probabilistic Relational Models 而證明機器可以推理論知而又得到了這個獎，可見世事無絕對，科學有輪迴。
　　
　　D koller的Probabilistic Relational Models在nips和icml等各種牛會上活躍了相當長的一段時間，並且至少在實驗室裏證明了它在信息搜索上的價值，這也導致了她的很多學生進入了 google。雖然進入google可能沒有在牛校當faculty名聲響亮，但要知道google的很多員工現在可都是百萬富翁，在全美大肆買房買車的 主。
　　
　　Koller的研究主要都集中在probabilistic graphical model，如Bayesian網絡，但這玩意我沒有接觸過，我只看過幾篇他們的markov network的文章，但看了也就看了，一點想法都沒有，這灘水有點深，不是我這種非科班出身的能趟的，並且感覺難以應用到我現在這個領域中。
　　
Koller 才從教10年，所以學生還沒有涌現出太多的牛人，這也是她不能跟Jordan比擬的地方，並且由於在stanford的關係，很多學生直接去硅谷賺大錢去 了，而沒有在學術界開江湖大幫派的影響，但在stanford這可能太難以辦到，因爲金錢的誘惑實在太大了。不過Koller的一個學生我非常崇拜，叫 Ben Taskar，就是我在（1）中所提到的Jordan的博後，是好幾個牛會的最佳論文獎，他把SVM的最大間隔方法和Markov network結合起來，可以說是對structure data處理的一種標準工具，也把最大間隔方法帶入了一個新的熱潮，近幾年很多牛會都有這樣的workshop。 我最開始上Ben Taskar的在stanford的個人網頁時，正趕上他剛畢業，他的頂上有這麼一句話：流言變成了現實，我終於畢業了！可見Koller是很變態的，把 自己的學生關得這麼鬱悶，這恐怕也是大多數女faculty的通病吧，並且估計還非常的push！
　　
　　Machine learning 大家（3）:J. D. Lafferty
　　
大家都知道NIPS和ICML向來都是由大大小小的山頭所割據，而John Lafferty無疑是裏面相當高的一座高山，這一點可從他的publication list裏的NIPS和ICML數目得到明證。雖然江湖傳說計算機重鎮CMU現在在走向衰落，但這無礙Lafferty擁有越來越大的影響力，翻開AI兵 器譜排名第一的journal of machine learning research的很多文章，我們都能發現author或者editor中赫然有Lafferty的名字。
　　
　　Lafferty給人 留下的最大的印象似乎是他2001年的conditional random fields，這篇文章後來被瘋狂引用，廣泛地應用在語言和圖像處理，並隨之出現了很多的變體，如Kumar的discriminative random fields等。雖然大家都知道discriminative learning好，但很久沒有找到好的discriminative方法去處理這些具有豐富的contextual inxxxxation的數據，直到Lafferty的出現。
　　
　　而現在Lafferty做的東西好像很 雜，semi－supervised learning， kernel learning，graphical models甚至manifold learning都有涉及，可能就是像武俠裏一樣只要學會了九陽神功，那麼其它的武功就可以一窺而知其精髓了。這裏面我最喜歡的是semi－ supervised learning，因爲隨着要處理的數據越來越多，進行全部label過於困難，而完全unsupervised的方法又讓人不太放心，在這種情況下 semi－supervised learning就成了最好的。這沒有一個比較清晰的認識，不過這也給了江湖後輩成名的可乘之機。到現在爲止，我覺得cmu的semi－ supervised是做得最好的，以前是KAMAL NIGAM做了開創性的工作，而現在Lafferty和他的弟子作出了很多總結和創新。
　　
Lafferty 的弟子好像不是很多，並且好像都不是很有名。不過今年畢業了一箇中國人，Xiaojin Zhu(上海交通大學校友)，就是做semi－supervised的那個人，現在在wisconsin-madison做assistant professor。他做了迄今爲止最全面的Semi-supervised learning literature survey，大家可以從他的個人主頁中找到。這人看着很憨厚，估計是很好的陶瓷對象。另外我在（1）中所說的Jordan的牛弟子D Blei今年也投奔Lafferty做博後，就足見Lafferty的牛了。
　　
　　Lafferty做NLP是很好的，著名的Link Grammar Parser還有很多別的應用。其中language model在IR中應用，這方面他的另一箇中國學生ChengXiang Zhai(南京大學校友，2004年美國青年科學家總統獎(PECASE)得主)，現在在uiuc做assistant professor。
　　
　　Machine learning 大家（4):Peter L. Bartlett
　　
鄙人淺薄之見，Jordan比起同在berkeley的Peter Bartlett還是要差一個層次。Bartlett主要的成就都是在learning theory方面，也就是ML最本質的東西。他的幾篇開創性理論分析的論文，當然還有他的書Neural Network Learning: Theoretical Foundations。
　　
　　UC Berkeley的統計系在強手如林的北美高校中一直是top3，這就足以證明其肯定是羣星薈萃，而其中，Peter L. Bartlett是相當亮的一顆星。關於他的研究，我想可以從他的一本書裏得到答案：Neural Network Learning: Theoretical Foundations。也就是說，他主要做的是Theoretical Foundations。基礎理論雖然沒有一些直接可面向應用的算法那樣引人注目，但對科學的發展實際上起着更大的作用。試想vapnik要不是在VC維 的理論上辛苦了這麼多年，怎麼可能有SVM的問世。不過陽春白雪固是高雅，但大多數人只能聽懂下里巴人，所以Bartlett的文章大多只能在做理論的那 個圈子裏產生影響，而不能爲大多數人所廣泛引用。
　　
　　Bartlett在最近兩年做了大量的Large margin classifiers方面的工作，如其convergence rate和generalization bound等。並且很多是與jordan合作，足見兩人的工作有很多相通之處。不過我發現Bartlett的大多數文章都是自己爲第一作者，估計是在教育 上存在問題吧，沒帶出特別牛的學生出來。
　　
　　Bartlett的個人主頁的talk裏有很多值得一看的slides,如Large Margin Classifiers: Convexity and Classification；Large Margin Methods for Structured Classification: Exponentiated Gradient Algorithms。大家有興趣的話可以去下來看看。
　　
　　Machine learning 大家（5): Michael Collins
　　
　　Michael Collins (http://people.csail.mit.edu/mcollins/
自然語言處理(NLP)江湖的第一高人。出身Upenn，靠一身叫做Collins Parser的武功在江湖上展露頭腳。當然除了資質好之外，其出身也幫了不少忙。早年一個叫做Mitchell P. Marcus的師傅傳授了他一本葵花寶典-Penn Treebank。從此，Collins整日沉迷於此，終於練成蓋世神功。
　　
學成之後，Collins告別師傅開始闖蕩江湖，投入了一個叫AT&T Labs Research的幫會，並有幸結識了Robert Schapire、Yoram Singer等衆多高手。大家不要小瞧這個叫AT&T Labs Research的幫會，如果誰沒有聽過它的大名總該知道它的同父異母的兄弟Bell Labs吧。
　　
　　言歸正傳，話說 Collins在這裏度過了3年快樂的時光。其間也奠定了其NLP江湖老大的地位。並且練就了Discriminative Reranking， Convolution Kernels，Discriminative Training Methods for Hidden Markov Models等多種絕技。然而，世事難料，怎奈由於幫會經營不善，這幫大牛又不會爲幫會拼殺，終於被一腳踢開，大家如鳥獸散了。Schapire去了 Princeton， Singer 也回老家以色列了。Collins來到了MIT，成爲了武林第一大幫的六袋長老，並教授一門叫做的Machine Learning Approaches for NLP
(http://www.ai.mit.edu/courses/6.891-nlp/ 的功夫。雖然這一地位與其功力極不相符，但是這並沒有打消Collins的積極性，通過其刻苦打拼，終於得到了一個叫Sloan Research Fellow的頭銜，並於今年7月，光榮的升任7袋Associate Professor。
　　
　　在其下山短短7年時間內，Collins共獲得了4次世界級武道大會冠軍(EMNLP2002, 2004, UAI2004, 2005)。相信年輕的他，總有一天會一統丐幫，甚至整個江湖。
　　
　　看過Collins和別人合作的一篇文章，用conditional random fields 做object recogntion。還這麼年輕，admire to death！