系列文章：
人工“碳”索意猶盡，智能“硅”來未可知（深度學習入門系列之二）
--------------------------------
在前一個小節中，我們簡單地談了談什麼是“M-P神經元模型”，順便用生活中生動的小案例，把激活函數和卷積函數的概念擼了一遍。下筆之處，盡顯“神經”。當然這裏所謂的“神經”，是說我們把不同領域的知識，以天馬行空地方式，揉和在一起，協同提升認知水平。其實，這不也正是深度學習的前沿方向之一——“遷移學習（Multi-Task and Transfer Learning）”要乾的事情嗎？
下面，我們繼續“神經”下去，首先聊聊機器學習的三大分支，然後以“中庸之道”來看機器學習的發展方向。
4.1機器學習的三個層次
在我們小時候，大概都學習過《三字經》，其中有句“性相近，習相遠。”說的就是，“人們生下來的時候，性情都差不多，但由於後天的學習環境不一樣，性情也就有了千差萬別。”
其實，這句話用在機器學習領域，上面的論述也是大致適用的。機器學習的學習對象是數據，數據是否有標籤，就是機器學習所處的“環境”，“環境”不一樣，其表現出來的“性情”也有所不同，大致可分爲三類：
（1）監督學習（Supervised Learning）:用數據挖掘大家韓家煒（Jiawei Han）老師的觀點來說，監督學習基本上就是“分類（classification）”的代名詞[1]。它從有標籤的訓練數據中學習，然後給定某個新數據，預測它的標籤（given data, predict labels）。這裏的標籤（label），其實就是某個事物的分類。
圖4-1 監督學習
比如說，小時候父母告訴我們某個動物是貓、是狗或是豬，然後我們的大腦裏就會形成或貓或狗或豬的印象，然後面前來了一條“新”小狗，如果你能叫出來“這是一條小狗”，那麼恭喜你，你的標籤分類成功！但如果你說“這是一頭小豬”。這時你的監護人就會糾正你的偏差，“乖，不對呦，這是一頭小狗”，這樣一來二去的訓練，就不斷更新你的大腦認知體系，聰明如你，下次再遇到這類新的“貓、狗、豬”等，你就會天才般的給出正確“預測”分類（如圖1所示）。簡單來說，監督學習的工作，就是通過有標籤的數據訓練，獲得一個模型，然後通過構建的模型，給新數據添加上特定的標籤。
事實上，整個機器學習的目標，都是使學習得到的模型，能很好地適用於“新樣本”，而不是僅僅在訓練樣本上工作得很好。通過訓練得到的模型，適用於新樣本的能力，稱之爲“泛化（generalization）能力”。
（2）非監督學習（Unsupervised Learning）：與監督學習相反的是，非監督學習所處的學習環境，都是非標籤的數據。韓老師接着說，非監督學習，本質上，就是“聚類（cluster）”的近義詞。
圖4-2 非監督學習
簡單來說，給定數據，從數據中學，能學到什麼，就看數據本身具備什麼特性了（given data, learn about that data）。我們常說的“物以類聚，人以羣分”說得就是“非監督學習”。這裏的“類”也好，“羣”也罷，事先我們是不知道的。一旦我們歸納出“類”或“羣”的特徵，如果再要來一個新數據，我們就根據它距離哪個“類”或“羣”較近，就“預測”它屬於哪個“類”或“羣”，從而完成新數據的“分類”或“分羣”功能。
（3）半監督學習（Semi-supervised Learning）：這類學習方式，既用到了標籤數據，又用到了非標籤數據。有句罵人的話，說某個人“有媽生，沒媽教”，拋開這句話罵人的含義，其實它說的是“無監督學習”。但我們絕大多數人，不僅“有媽生，有媽教”，還“有小學教，有中學教，有大學教”，“有人教”，這就是說，有人告訴我們事物的對與錯（即對事物打了標籤），然後我們可據此改善自己的性情，慢慢把自己調教得更有“教養”，這自然就屬於“監督學習”。但總有那麼一天我們要長大。而長大的標誌之一，就是自立。何謂“自立”？就是遠離父母、走出校園後，沒有人告訴你對與錯，一切都要基於自己早期已獲取的知識爲基礎，從社會中學習，擴大並更新自己的認知體系，然後遇到新事物時，我們能“泰然自若”處理，而非茫然“六神無主”。
從這個角度來看，現代人類成長學習的最佳方式，當屬“半監督學習”！它既不是純粹的“監督學習”（因爲如果完全是這樣，就會扼殺我們的創造力，我們的認知體系也就永遠不可能超越我們的父輩和師輩）。但我們也不屬於完全的“非監督學習”（因爲如果完全這樣，我們會如“無根之浮萍”，會花很多時間“重造輪子”。前人的思考，我們的階梯，這話沒毛病！）。
那麼到底什麼是“半監督學習”呢？下面我們給出它的形式化定義：
給定一個來自某未知分佈的有標記示例集L={(x1, y1), (x2, y2), ..., (xl, yl)}，其中xi是數據，yi是標籤。對於一個未標記示例集U = {xl+1, x l+1, ... , xl+u}，l<<u，於是，我們期望學得函數 f:X→Y 可以準確地對未標識的數據xi預測其標記yi。這裏均爲d維向量, yi∈Y爲示例xi的標記。
圖4-3 半監督學習
形式化的定義比較抽象，下面我們列舉一個現實生活中的例子，來輔助說明這個概念。假設我們已經學習到：
(1) 馬曉雲同學（數據1）是個牛逼的人（標籤：牛逼的人）
(2) 馬曉騰同學（數據2）是個牛逼的人（標籤：牛逼的人）
(3) 假設我們並不知道李曉宏同學（數據3）是誰，也不知道他牛逼不牛逼，但考慮他經常和二馬同學共同出沒於高規格大會，都經常會被達官貴人接見（也就是說他們雖獨立，但同分布），我們很容易根據“物以類聚，人以羣分”的思想，把李曉宏同學打上標籤：他也是一個很牛逼的人！
這樣一來，我們的已知領域（標籤數據）就擴大了（由兩個擴大到三個！），這也就完成了半監督學習。事實上，半監督學習就是以“已知之認知（標籤化的分類信息）”，擴大“未知之領域（通過聚類思想將未知事物歸類爲已知事物）”。但這裏隱含了一個基本假設——“聚類假設（cluster assumption）”，其核心要義就是：“相似的樣本，擁有相似的輸出”。
事實上，我們對半監督學習的現實需求，是非常強烈的。其原因很簡單，就是因爲人們能收集到的標籤數據非常有限，而手工標記數據需要耗費大量的人力物力成本，但非標籤數據卻大量存在且觸手可及，這個現象在互聯網數據中更爲凸顯，因此，“半監督學習”就顯得尤爲重要性[2]。
人類的知識，其實都是這樣，以“半監督”的滾雪球的模式，越擴越大。“半監督學習”既用到了“監督學習”，也吸納了“非監督學習”的優點，二者兼顧。
如此一來，“半監督學習”就有點類似於我們中華文化的“中庸之道”了。
的確如此嗎？下面我們就聊聊機器學習的“中庸之道”。
4.2從“中庸之道”看機器學習
說到“中庸之道”，很多人立馬想到的就是“平庸之道”，把它的含義理解爲“不偏不倚、不上不下、不左不右、不前不後”。其實，這是一個很大的誤解！
據吳伯凡先生介紹[3]，“中”最早其實是一個器具，它看上去像一個槌子，爲了拿起方便，就用手柄穿越其中，即爲“中”。
這個“中”可不得了，它非常重要，且只有少數人才能使用。那都是誰來用呢？答案就是古代的軍事指揮官。在“鐵馬金戈風沙騰”的戰場上，軍旗飄飄，唯有一人高高站在戰車上，手握其“中”，其他將士都視其“中”而進退有方（見圖4-4第二行第一字），而手握其“中”的人，稱之爲“史”（見圖4-4第一行第一字）。所以現在你知道了吧，其實“史”最早的本意，就是手握指揮大權的“大官”。
圖4-4 中庸之道，蘊意爲何？
再後來，“中”就有各種各樣的引申含義。在中原地帶的人，在他們的語言裏頭到現在還保留一些古代遺風，比如說河南人說“對”或者“是”的時候，他說的是“中（zhóng）”，當他們說“中（zhóng）”的時候，就表示事情是正確的，是可行的。
其實，“中”還有一個讀音叫“中（zhòng）”，比如說成語裏就有“正中下懷”、“百發百中”等，這時“中（zhòng）”的含義就是恰到好處，不偏離原則，堅守關鍵點。
下面再來說說“庸”。“庸”的上半部是“庚”，“庚”同音於“更”，即“變化”之意。而“庸”的下半部是“用”，“用”之本意爲“變化中的不變”，即爲“常”。在編程語言中，我們常說“常量”，說的就是不變化的量。所以，“庸”的最佳解釋應該是“富有彈性的堅定”。
那麼“中庸”放在一起是什麼意思呢？那就是告訴我們“在變化中保持不變”。其中，所謂“變化”，就是我們所處的環境變化多端，所以我們也需要“隨機應變，伺機而動”。而所謂“不變”就是要我們“守住底線，中心原則不變”。二者在一起，“中庸之道”就是要告訴我們要在靈活性（變）和原則性（不變）之間，保持一個最佳的平衡。
那說了半天，這“中庸之道”和機器學習有啥關係呢？其實這就是一個方法論問題。“監督學習”，就是告訴你“正誤之道”，即有“不變”之原則。而“非監督學習”，就有點“隨心所欲，變化多端”，不易收斂，很易“無根”，“不用臨池更相笑，最無根蒂是浮萍。”
那“中庸之道”的機器學習應該是怎樣的呢？自然就是“半監督學習”，做有彈性的堅定學習。這裏的“堅定”自然就是“監督學習”，而“有彈性”自然就是“非監督學習”。
“有彈性”的變化，不是簡單的加加減減，而是要求導數（變化），而且還可能是導數的導數（變化中的變化）。只有這樣，我們才能達到學習最本質的需求——性能的提升。在機器學習中，我們不正是以提高性能爲原則，用梯度（導數）遞減的方式來完成的嗎？
所以，你看看，我們老祖先的方法論，其實是很牛逼的。只不過是歷時太久遠了，其寶貴的內涵，被時間的塵埃矇蔽了而已。
現在，我們經常提“文化自信”，哈哈，你看我這個例子算不算一個？
4.3 小結
在本小節中，我們主要回顧了機器學習的三種主要形式：監督學習、非監督學習和半監督學習。它們之間核心區別在於是否（部分）使用了標籤數據。
然後我們又從老祖先的“中庸之道”，談了談機器學習的發展方向，不管是從人類自己的學習方式，還是“中庸之道”核心本質，“半監督學習”一定是未來機器學習的大趨勢。
我們這樣說是有依據的，因爲人工智能的最高標準，不正是要模擬學習人類的智能嗎？而人類就是通過“半監督學習”獲取最妙、最高的智能啊，所以你有什麼理由不相信“機器學習（包括深度學習）”不是朝着這個方向發展的呢？
不管你信不信，反正我是信了！
好了，就此打住吧！在下一個小節中，我們真的該聊聊具體的神經網絡學習算法了。我們知道，“人之初，性本善”，那麼“神經”之初，又是什麼呢，自然就是“感知機”了。在下一小節，我們就非常務實地聊聊“感知機”的學習算法（並附上源代碼），它可是一切神經網絡學習（包括深度學習）的基礎，請你關注！
4.4 請你思考
通過上面的學習，請你思考如下問題：
(1) 深度學習算法既有監督學習模式的，也有非監督學習模式的？它有沒有半監督學習模式的？如果有，請你分別列舉一二？
(2) 阿爾法狗再次“咬傷”了人類的最佳棋手柯潔，不出意外地再次“震驚世人”，有人說阿爾法狗是深度學習的典範之作？僅僅如此嗎？除了深度學習之外,它還結合使用了什麼技術？
(3) 中國古代的銅錢，也體現有“中庸之道”，你知道是什麼嗎？
寫下你的感悟，祝你每天都有收穫！
【參考文獻】
[1] Han J. Data Mining: Concepts and Techniques[M]. Morgan Kaufmann Publishers Inc. 2005.
[2] 周志華.機器學習.北京：清華大學出版社.2016.1
[3]吳伯凡.中庸之美.得到.2017.2
文章作者：張玉宏（著有《品味大數據》、本文節選自《深度學習之美》（最通俗易懂的深度學習入門）2018年7月出版）
（未完待續）
---------
Hello World感知機，懂你我心才安息(深度學習入門系列之五)