本文基於百度PaddlePaddle教程：
https://aistudio.baidu.com/aistudio/projectdetail/349025
一、深度學習的發展歷程
1. 首先說說醫學上的發現
1981年的諾貝爾將頒發給了David Hubel和Torsten Wiesel，以及Roger Sperry。他們發現了人的視覺系統處理信息是分級的。
從視網膜（Retina）出發，經過低級的V1區提取邊緣特徵，到V2區的基本形狀或目標的局部，再到高層的整個目標（如判定爲一張人臉），以及到更高層的PFC（前額葉皮層）進行分類判斷等。也就是說高層的特徵是低層特徵的組合，從低層到高層的特徵表達越來越抽象和概念化，也即越來越能表現語義或者意圖。
邊緣特徵 —–> 基本形狀和目標的局部特徵——>整個目標 這個過程其實和我們的常識是相吻合的，因爲複雜的圖形，往往就是由一些基本結構組合而成的。同時我們還可以看出：大腦是一個深度架構，認知過程也是深度的。
2. 深度學習的出現
低層次特徵 - - - - (組合) - - ->抽象的高層特徵
深度學習，就是通過組合低層特徵形成更加抽象的高層特徵（或屬性類別）。
例如，在計算機視覺領域，深度學習算法從原始圖像去學習得到一個低層次表達，例如邊緣檢測器、小波濾波器等，然後在這些低層次表達的基礎上，通過線性或者非線性組合，來獲得一個高層次的表達。此外，不僅圖像存在這個規律，聲音也是類似的。比如，研究人員從某個聲音庫中通過算法自動發現了20種基本的聲音結構，其餘的聲音都可以由這20種基本結構來合成！
二、機器學習
機器學習是實現人工智能的一種手段，也是目前被認爲比較有效的實現人工智能的手段。
簡單來說，機器學習就是通過算法，使得機器能從大量歷史數據中學習規律，從而對新的樣本做智能識別或對未來做預測。
2. 人工智能和機器學習
人工智能是計算機科學的一個分支，研究計算機中智能行爲的仿真。
每當一臺機器根據一組預先定義的解決問題的規則來完成任務時，這種行爲就被稱爲人工智能。
基本上，機器學習是人工智能的一個子集;更爲具體地說，它只是一種實現AI的技術，一種訓練算法的模型，這種算法使得計算機能夠學習如何做出決策。
從某種意義上來說，機器學習程序根據計算機所接觸的數據來進行自我調整。
3. 監督式學習和非監督式學習
監督式學習需要使用有輸入和預期輸出標記的數據集。
當你使用監督式學習訓練人工智能時，你需要提供一個輸入並告訴它預期的輸出結果。
如果人工智能產生的輸出結果是錯誤的，它將重新調整自己的計算。這個過程將在數據集上不斷迭代地完成，直到AI不再出錯。
非監督式學習是利用既不分類也不標記的信息進行機器學習，並允許算法在沒有指導的情況下對這些信息進行操作。
三、深度學習如何工作
我們將通過建立一個公交票價估算在線服務來了解深度學習是如何工作的。
我們希望我們的巴士票價估價師使用以下信息/輸入來預測價格:
1. 神經網絡
神經網絡是一組粗略模仿人類大腦，用於模式識別的算法。神經網絡這個術語來源於這些系統架構設計背後的靈感，這些系統是用於模擬生物大腦自身神經網絡的基本結構，以便計算機能夠執行特定的任務。
和人類一樣， “AI價格評估”也是由神經元(圓圈)組成的。此外，這些神經元還是相互連接的。
神經元分爲三種不同類型的層次：
- 輸入層接收輸入數據。在我們的例子中，輸入層有四個神經元:出發站、目的地站、出發日期和巴士公司。輸入層會將輸入數據傳遞給第一個隱藏層；
- 隱藏層對輸入數據進行數學計算。創建神經網絡的挑戰之一是決定隱藏層的數量，以及每一層中的神經元的數量；
- 人工神經網絡的輸出層是神經元的最後一層，主要作用是爲此程序產生給定的輸出，在本例中輸出結果是預測的價格值。
神經元之間的每個連接都有一個權重。這個權重表示輸入值的重要性。模型所做的就是學習每個元素對價格的貢獻有多少。這些“貢獻”是模型中的權重。一個特徵的權重越高，說明該特徵比其他特徵更爲重要。
在預測公交票價時，出發日期是影響最終票價的最爲重要的因素之一。因此，出發日期的神經元連接具有較大的“權重”。
每個神經元都有一個激活函數。它主要是一個根據輸入傳遞輸出的函數。 當一組輸入數據通過神經網絡中的所有層時，最終通過輸出層返回輸出數據。
2. 通過訓練改進神經網絡
爲了提高“AI價格評估”的精度，我們需要將其預測結果與過去的結果進行比較，爲此，我們需要兩個要素:
- 大量的計算能力；
- 大量的數據。
訓練AI的過程中，重要的是給它的輸入數據集(一個數據集是一個單獨地或組合地或作爲一個整體被訪問的數據集合),此外還需要對其輸出結果與數據集中的輸出結果進行對比。
一旦我們遍歷了整個數據集，就有可能創建一個函數來衡量AI輸出與實際輸出(歷史數據)之間的差異。這個函數叫做成本函數。即成本函數是一個衡量模型準確率的指標，衡量依據爲此模型估計X與Y間關係的能力。
模型訓練的目標是使成本函數等於零，即當AI的輸出結果與數據集的輸出結果一致時（成本函數等於0）。
3. 如何降低成本函數？
通過使用一種叫做梯度下降的方法。梯度衡量得是，如果你稍微改變一下輸入值，函數的輸出值會發生多大的變化（導數）
梯度下降法是一種求函數最小值的方法。在這種情況下，目標是取得成本函數的最小值。 它通過每次數據集迭代之後優化模型的權重來訓練模型。通過計算某一權重集下代價函數的梯度，可以看出最小值的梯度方向。
爲了降低成本函數值，多次遍歷數據集非常重要。