版權聲明：此爲Yoshua Bengio的新書《Deep Learning》學習筆記，本文爲博主在研究工作中經驗分享，包括學習筆記、摘錄、研究成果，以便以後工作參考之用，歡迎交流和批評；其中參考資料的標註難免會有疏漏之處，以及其它欠妥之處，如有請告知，立馬更正，致歉，謝謝；未經博主允許不得轉載。
第一章 前言
機器學習（machine learning）： AI 系統需要具備自己獲取知識的能力，即從原始數據中提取模式的能力。這種能力被稱爲 機器學習（machine learning）。
簡單的機器學習算法的性能在很大程度上依賴於給定數據的 表示（representation）。
表示學習（representation learning）：使用機器學習來發掘表示本身，而不僅僅把表示映射到輸出。這種方法我們稱之爲 表示學習（representation learning）。學習到的表示往往比手動設計的表示表現得更好。並且它們只需最少的人工干預，就能讓AI系統迅速適應新的任務。 表示學習算法只需幾分鐘就可以爲簡單的任務發現一個很好的特徵集，對於複雜任務則需要幾小時到幾個月。手動爲一個複雜的任務設計特徵需要耗費大量的人工時間和精力；甚至需要花費整個社羣研究人員幾十年的時間。
表示學習算法的經典例子是 自編碼器--autoencoder，自編碼器由一個編碼器--encoder 和一個解碼器--decoder 函數組成。
深度學習（ deep learning ）通過其他較簡單的表示來表達複雜表示，解決了表示學習中的核心問題。
深度學習的典型例子是前饋深度網絡或者多層感知機（multilayer perceptron, MLP）。
學習數據的正確表示的想法是解釋深度學習的一個視角。另一個視角是深度促使計算機學習一個多步驟的計算機程序。
目前主要有樑總度量模型深度的方式：1、基於評估架構所需執行的順序指令的數目；2、是在深度概率模型中使用的方法，它不是將計算圖的深度視爲模型深度，而是將描述概念彼此如何關聯的圖的深度視爲模型深度。
由於並不總是清楚計算圖的深度或概率模型圖的深度哪一個是最有意義的，並且由於不同的人選擇不同的最小元素集來構建相應的圖，因此就像計算機程序的長度不存在單一的正確值一樣，架構的深度也不存在單一的正確值。另外，也不存在模型多麼深才能被修飾爲 ‘‘深’’ 的共識。但相比傳統機器學習， 深度學習研究的模型涉及更多學到功能或學到概念的組合，這點毋庸置疑。
AI > Machine learning > representation learning 表示學習 > deep learning 深度學習
AI 的例子： knowledge bases 知識庫
Machine learning 的例子： logistic regression 邏輯迴歸
representation learning 的例子： shallow autoencoder 淺層自編碼器
deep learning 的例子： MLP
圖1.5 流程圖展示了AI系統的不同部分如何在不同的AI 學科中彼此相關
