【深度學習】深度學習概念的理解（一）

【深度學習】深度學習的理解（一）

寫在最前面的話：設置【深度學習】欄，主要是爲了掃盲深度學習的各個知識點，希望通過這種方式來給自己的基礎打紮實，從頭開始學習！如果有寫得不對的地方，請指正！！！謝謝

深度學習在現在已經是非常成熟了，生活的方方面面都可以用上深度學習技術，那麼其實什麼是深度學習？直觀地說，是計算機從經驗中學習到知識來理解/解決問題，這裏的**“經驗”可以理解是深度，“學習”是指經過一種抽象的數學過程，“知識”**跟我們的常識是一樣的道路。計算機只有先獲取到大量的“常識”（如樹葉是綠色，乒乓球比籃球小等）才能以人類的思考方式去解決問題。

如何學習

那麼計算機又是如何學習到“常識”的呢？我們是如何將數據裏面蘊含的“常識”傳遞給計算機的呢？其實這些“常識”用我們的語言可以很容易地表述出來，但是要讓只會讀數字的計算機認識這些“常識”，那麼只能通過編碼或者特徵提取的方式來傳遞給計算機：

• 編碼：主要通過形式化語言硬編碼將人類的語言換成計算機語言，使得計算機可以通過邏輯推理的方式學習這些知識；
• 提取特徵：從原始數據中提取某種特徵/規律來表示知識，這主要涉及機器學習方面的知識。

傳統的機器學習屬於統計學領域，它非常依賴數據及其表達方式（representation），即如何將數據的某種規律/特徵表示出來，舉個現代的例子：比如在醫院裏面，醫生給病人診斷，醫生需要知道病人的一些信息（病態特徵、習慣、發病時間、接觸過什麼等），這些信息在計算機中稱爲特徵（feature），傳統的機器學習有三個大弊端阻止了它的發展：無法確定需要哪些特徵（如是需要在哪讀書，還是學習成績？）、無法確定這些特徵的方式（是否需要將特徵離散化？）、某些信息無法學習（如數據與結果的相關性微小，無法表示的數據等）。

如何表達

計算機學習到的知識又如何表達呢？如何利用知識來解決問題呢？計算機學習到知識是通過數學上的函數或者圖像來表示，具體形式是特徵空間，由所有的特徵向量組成的空間稱爲特徵空間，特徵向量表示每個具體的輸入，特徵空間中的每一個維度對應一種特徵。傳統的機器學習對於一些高級特徵是無法表示，而深度學習的解決方案是採用高級特徵用低級特徵來表示，即通過組合簡單的概念(concept)來構建複雜的概念而計算機可以利用這些知識解決各種分類、預測、優化等問題。

例子

比如在圖像識別的認爲中，如果直接學習從一堆像素映射到物體是很困難的，深度學習是將這些複雜的映射分解成一系列簡單的映射，通過嵌套簡單映射來解決問題，每一個映射由模型的不同的層來描述：

• 可見層作爲輸入：這包含了我們人眼能直觀看到的物體
• 第一個隱層：描述了邊 (edge) 的概念，可通過比較相鄰像素的亮度，可分離出邊緣，屬於高頻信息。
• 第二個隱層：描述了角（corner）和輪廓（contour）的概念，通過識別邊的集合能找到角，也屬於高頻信息。
• 第三個隱層：描述了特定物體的概念，物體是由特定的角、邊、等高線集合組成的。

從隱層開始，所表現出來的特徵是我們人眼無法識別的變量。

深度學習的另一個典型例子是多層感知機（multilayer perceptron：MLP） 其實多層感知機就是一個（複合）函數，這個（複合）函數的作用是將一組輸入值映射到相應的輸出值，而（複合）函數是由許多非常簡單的函數組成，這裏面的每個簡單函數都給它的輸入值賦予一個新的表示方式。其實，深度學習跟多層感知機運作機制是一樣的。

經驗–深度

在上面提到，計算機從經驗中學習知識，這裏的經驗可理解爲深度。深度學習的深度是可度量的，對不同的學習方式來說，度量的方式也不同：

• 對於編碼學習，”深度“可以指代碼中執行的順序指令的數量，也可以視爲算法流程圖中從輸入到輸出中最長路徑的長度。

  簡單地，舉個邏輯迴歸的例子， 給出邏輯迴歸模型的深度，其中$y'=\sigma(w^Tx)$，$\sigma(z)=\frac{1}{1+exp(-z)}$爲sigmoid函數，圖的左邊是將加法、乘法、sigmoid函數作爲基本運算單元，則模型深度爲3，而右邊是將邏輯迴歸模型本身作爲基本運算單元，則模型深度爲1。

• 對於特徵學習，“深度”可以是概念圖的深度。概念圖是抽象的，其實不能具體定義深度是多少，是根據經驗推理出來的。比如對於一個面部識別，如果半張臉存在陰影中，那麼能明確識別的只有一隻眼睛，但是根據臉部經驗，應該存在兩隻眼睛，所以可推理出來還有位置對稱的另一隻眼睛，此時的概念圖可認爲只有兩層，第一層是眼睛，第二層是臉部，但推理概念圖的流程卻不止2層，可能推理次數不止一次。

關係

深度學習是屬於機器學習，只是它通過專門的嵌套學習方式來表徵特徵。機器學習是一種實現人工智能的方法，深度學習是一種實現機器學習的技術。它們三者之間的關係如下圖：

總結

（鍛鍊自己的文筆ing，養成總結的好習慣）本文粗略地介紹了什麼是深度學習，深度學習的學習方法和表示方法，以及描述了深度學習、機器學習與人工智能的關係。雖然只是大致地介紹了簡單的概念，希望自己能堅持學習下去，好好打基礎！寫得不好，請勿噴，哪裏有錯歡迎指出~

參考文章
http://www.huaxiaozhuan.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/chapters/0_dl_introduction.html