通俗來說，機器學習是一門討論各式各樣的適用於不同問題的函數形式，以及如何使用數據來有效地獲取函數參數具體值的學科。深度學習是指機器學習中的一類函數，它們的形式通常爲多層神經網絡。近年來，仰仗着大數據集和強大的硬件，深度學習已逐漸成爲處理圖像、文本語料和聲音信號等複雜高維度數據的主要方法。
機器學習和深度學習的關係。機器學習研究如何使計算機系統利用經驗改善性能。它是人工智能領域的分支，也是實現人工智能的一種手段。在機器學習的衆多研究方向中，表徵學習關注如何自動找出表示數據的合適方式，以便更好地將輸入變換爲正確的輸出，而本書要重點探討的深度學習是具有多級表示的表徵學習方法。在每一級（從原始數據開始），深度學習通過簡單的函數將該級的表示變換爲更高級的表示。因此，深度學習模型也可以看作是由許多簡單函數複合而成的函數。當這些複合的函數足夠多時，深度學習模型就可以表達非常複雜的變換。
因此，深度學習的一個外在特點是端到端的訓練。也就是說，並不是將單獨調試的部分拼湊起來組成一個系統，而是將整個系統組建好之後一起訓練。