1 前言
最近有朋友留言要求分享一下李沐老師的《動手學深度學習》,小湯本着一直堅持的“好資源大家一起分享,共同學習,共同進步”的初衷,於是便去找了資料,而且還是中文版的,分享給有需要的小夥伴,也希望有更多的朋友能在StrongerTang相遇。
《動手學深度學習》是今年6月剛出版的新書,是一本面向中文讀者的能運行、可討論的深度學習教科書。同時覆蓋深度學習的方法和實踐,不僅從數學的角度闡述深度學習的技術與應用,還包含可運行的代碼,爲讀者展示如何在實際中解決問題。
主要面向希望瞭解深度學習,特別是對實際使用深度學習感興趣的大學生、工程師和研究人員。閱讀本書不要求讀者有任何深度學習或者機器學習的背景知識,讀者只需具備基本的數學和編程知識,如基礎的線性代數、微分、概率及Python編程知識。附錄中提供了書中涉及的主要數學知識,供讀者參考。
2 簡介
阿斯頓·張(Aston Zhang)
亞馬遜應用科學家,美國伊利諾伊大學香檳分校計算機科學博士,統計學和計算機科學雙碩士,專注於機器學習的研究。
李沐(Mu Li)
亞馬遜首席科學家(Principal Scientist),加州大學伯克利分校客座助理教授,美國卡內基梅隆大學計算機系博士,專注於分佈式系統和機器學習算法的研究,是深度學習框架MXNet的作者之一。
扎卡里·C. 立頓(Zachary C. Lipton)
亞馬遜應用科學家,美國卡內基梅隆大學助理教授,美國加州大學聖迭戈分校博士,專注於機器學習算法及其社會影響的研究,特別是在時序數據與序列決策上的深度學習。
亞歷山大·J. 斯莫拉(Alexander J. Smola)
亞馬遜副總裁/ 傑出科學家,德國柏林工業大學計算機科學博士,曾在澳大利亞國立大學、美國加州大學伯克利分校和卡內基梅隆大學任教,研究興趣包括深度學習、貝葉斯非參數、核方法、統計建模和可擴展算法。
《動手學深度學習》旨在向讀者交付有關深度學習的交互式學習體驗。書中不僅闡述深度學習的算法原理,還演示它們的實現和運行。與傳統圖書不同,本書的每一節都是一個可以下載並運行的Jupyter記事本,它將文字、公式、圖像、代碼和運行結果結合在了一起。此外,讀者還可以訪問並參與書中內容的討論。
全書的內容分爲3個部分:第一部分介紹深度學習的背景,提供預備知識,幷包括深度學習最基礎的概念和技術;第二部分描述深度學習計算的重要組成部分,還解釋近年來令深度學習在多個領域大獲成功的卷積神經網絡和循環神經網絡;第三部分評價優化算法,檢驗影響深度學習計算性能的重要因素,並分別列舉深度學習在計算機視覺和自然語言處理中的重要應用。
之前,李沐老師等人曾以電子版的形式在 GitHub 上開源了這本書,目前該項目在 GitHub 上已獲得超過 1.1 萬星,並且中文版電子書還發布了紙質版書籍。
中文版開源地址:https://github.com/d2l-ai/d2l-zh
不過雖然本書非常優秀,但由於是使用 MXNet 框架寫成的,而很多入坑機器學習的萌新們使用的卻是 PyTorch或者 Tensorflow ,使得很多小夥伴“手拿美食,卻又不知如何下手”。
幸運的是,最近一位北大大佬翻譯了一份 Pytorch 版,原書中的 MXNet 代碼全部改爲PyTorch實現。
首先放上這份資源的 GitHub 地址:
https://github.com/ShusenTang/Dive-into-DL-PyTorch
然而,源項目由於是用Markdown寫的,公式和代碼顯示的易讀性較差,體驗感不佳。最近,一位中國海洋大學大佬又將上面 PyTorch 版本的《動手深度學習》編譯成完整的 PDF 文件。方便大家閱讀及解決 GitHub 上公式顯示不全的問題。
深度學習簡介
2.1 環境配置
2.2 數據操作
2.3 ⾃動求梯度
3.1 線性迴歸
3.2 線性迴歸的從零開始實現
3.3 線性迴歸的簡潔實現
3.4 softmax迴歸
3.5 圖像分類數據集(Fashion-MNIST)
3.6 softmax迴歸的從零開始實現
3.7 softmax迴歸的簡潔實現
3.8 多層感知機
3.9 多層感知機的從零開始實現
3.10 多層感知機的簡潔實現
3.11 模型選擇、⽋擬合和過擬合
3.12 權重衰減
3.13 丟棄法
3.14 正向傳播、反向傳播和計算圖
3.15 數值穩定性和模型初始化
3.16 實戰Kaggle⽐賽:房價預測
4.1 模型構造
4.2 模型參數的訪問、初始化和共享
4.3 模型參數的延後初始化
4.4 ⾃定義層
4.5 讀取和存儲
4.6 GPU計算
5.1 ⼆維卷積層
5.2 填充和步幅
5.3 多輸⼊通道和多輸出通道
5.4 池化層
5.5 卷積神經⽹絡(LeNet)
5.6 深度卷積神經⽹絡(AlexNet)
5.7 使⽤重複元素的⽹絡(VGG)
5.8 ⽹絡中的⽹絡(NiN)
5.9 含並⾏連結的⽹絡(GoogLeNet)
5.10 批量歸⼀化
5.11 殘差⽹絡(ResNet)
5.12 稠密連接⽹絡(DenseNet)
6.1 語⾔模型
6.2 循環神經⽹絡
6.3 語⾔模型數據集(周杰倫專輯歌詞)
6.4 循環神經⽹絡的從零開始實現6.4.1 one-hot向量
6.5 循環神經⽹絡的簡潔實現
6.6 通過時間反向傳播
6.7 ⻔控循環單元(GRU)
6.8 ⻓短期記憶(LSTM)
6.9 深度循環神經⽹絡
6.10 雙向循環神經⽹絡
7.1 優化與深度學習
7.2 梯度下降和隨機梯度下降
7.3 ⼩批量隨機梯度下降
7.4 動量法
7.5 AdaGrad算法
7.6 RMSProp算法
7.7 AdaDelta算法
7.8 Adam算法
8.1 命令式和符號式混合編程
8.2 異步計算
8.3 ⾃動並⾏計算
8.4 多GPU計算
9.1 圖像增⼴
9.2 微調
9.3 ⽬標檢測和邊界框
9.4 錨框
10.1 詞嵌⼊(word2vec)
10.2 近似訓練
10.3 word2vec的實現
10.4 ⼦詞嵌⼊(fastText)
10.5 全局向量的詞嵌⼊(GloVe)
10.6 求近義詞和類⽐詞
10.7 ⽂本情感分類:使⽤循環神經⽹絡
10.8 ⽂本情感分類:使⽤卷積神經⽹絡(textCNN)
10.9 編碼器—解碼器(seq2seq)
10.10 束搜索
10.11 注意⼒機制
10.12 機器翻譯
小湯本着交流學習的角度,在文末分享了該書的電子版,需要的小夥伴可以免費下載獲取。但請勿用於任何商業用途,僅供自身學習參考使用。
當然,StrongerTang強烈支持該書版權所屬,對於喜歡紙質實體書閱讀的朋友,建議購買正版書籍閱讀。
附加資源:
在線預覽地址:
https://zh.d2l.ai/
課程視頻地址:
https://space.bilibili.com/209599371/channel/detail?cid=23541
4 資料免費獲取
最後,364頁PyTorch版《動手學深度學習》電子版pdf已經打包完畢,需要的可以按照以下方式獲取:
1.長按下方二維碼關注 “StrongerTang” 公衆號
2.公衆號後臺回覆關鍵詞:動手學深度學習
聲明:此資料免費分享,僅作知識分享,勿用於任何商業用途。贈人玫瑰,手有餘香!