1、前言
談到機器學習和深度學習如何入門？相信很多人都會推薦吳恩達的在線課程。但是肯定有很多小夥伴會覺得如果配套一份筆記就完美了，既可以直接做筆記，也便於後期複習，可謂事半功倍。
然後，就有了黃海廣博士爲首的一羣機器學習愛好者發起了一個公益性質的項目：吳恩達機器學習和深度學習課程的字幕翻譯以及筆記整理。
去年這個時候我自己也是無意中看到了黃海廣博士分享的資料，當時是機器學習+深度學習兩份筆記，我雖然兩本都沒有看完，但是不得不說受益匪淺。
前段時間分享了吳恩達的深度學習筆記[點擊此處查看]，沒想到有很多人下載，並且有不少朋友詢問有沒有吳恩達老師機器學習的筆記。所以今天同樣把機器學習的筆記也分享出來，同時《機器學習的數學基礎》也一起分享出來，希望可以和更多的小夥伴一起學習。就像黃海廣博士說的那樣：
知識在於分享， 贈人玫瑰，手有餘香！ 在人工智能的道路上，你不是一個人在戰鬥！
2、筆記目錄
第1周 1
1、 引言(Introduction) 1
1.1 歡迎 1
1.2 機器學習是什麼？ 4
1.3 監督學習 6
1.4 無監督學習 10
2、 單變量線性迴歸(Linear Regression with One Variable) 15
2.1 模型表示 15
2.2 代價函數 17
2.3 代價函數的直觀理解I 19
2.4 代價函數的直觀理解II 20
2.5 梯度下降 21
2.6 梯度下降的直觀理解 24
2.7 梯度下降的線性迴歸 27
2.8 接下來的內容 29
3、 線性代數回顧(Linear Algebra Review) 30
3.1 矩陣和向量 30
3.2 加法和標量乘法 31
3.3 矩陣向量乘法 32
3.4 矩陣乘法 33
3.5 矩陣乘法的性質 34
3.6 逆、轉置 35
第2周 36
4、 多變量線性迴歸(Linear Regression with Multiple Variables) 36
4.1 多維特徵 36
4.2 多變量梯度下降 37
4.3 梯度下降法實踐1-特徵縮放 39
4.4 梯度下降法實踐2-學習率 40
4.5 特徵和多項式迴歸 41
4.6 正規方程 42
4.7 正規方程及不可逆性（選修） 44
5、 Octave教程(Octave Tutorial) 47
5.1 基本操作 47
5.2 移動數據 54
5.3 計算數據 62
5.4 繪圖數據 70
5.5 控制語句：for，while，if語句 76
5.6 向量化 82
5.7 工作和提交的編程練習 86
第3周 88
6、邏輯迴歸(Logistic Regression) 88
6.1 分類問題 88
6.2 假說表示 90
6.3 判定邊界 92
6.4 代價函數 94
6.5 簡化的成本函數和梯度下降 98
6.6 高級優化 101
6.7 多類別分類：一對多 105
7、 正則化(Regularization) 108
7.1 過擬合的問題 108
7.2 代價函數 110
7.3 正則化線性迴歸 112
7.4 正則化的邏輯迴歸模型 113
第4周 115
8、 神經網絡：表述(Neural Networks: Representation) 115
8.1 非線性假設 115
8.2 神經元和大腦 117
8.3 模型表示1 121
8.4 模型表示2 124
8.5 特徵和直觀理解1 126
8.6 樣本和直觀理解II 128
8.7 多類分類 130
第5周 131
9、 神經網絡的學習(Neural Networks: Learning) 131
9.1 代價函數 131
9.2 反向傳播算法 133
9.3 反向傳播算法的直觀理解 136
9.4 實現注意：展開參數 138
9.5 梯度檢驗 139
9.6 隨機初始化 141
9.7 綜合起來 142
9.8 自主駕駛 143
第6周 146
10、 應用機器學習的建議(Advice for Applying Machine Learning) 146
10.1 決定下一步做什麼 146
10.2 評估一個假設 149
10.3 模型選擇和交叉驗證集 151
10.4 診斷偏差和方差 153
10.5 正則化和偏差/方差 155
10.6 學習曲線 157
10.7 決定下一步做什麼 159
11、 機器學習系統的設計(Machine Learning System Design) 161
11.1 首先要做什麼 161
11.2 誤差分析 162
11.3 類偏斜的誤差度量 165
11.4 查準率和查全率之間的權衡 166
11.5 機器學習的數據 168
第7周 172
12、 支持向量機(Support Vector Machines) 172
12.1 優化目標 172
12.2 大邊界的直觀理解 178
12.3大邊界分類背後的數學（選修） 183
12.4 核函數1 190
12.5 核函數2 192
12.6 使用支持向量機 194
第8周 197
13、 聚類(Clustering) 197
13.1 無監督學習：簡介 197
13.2 K-均值算法 200
13.3 優化目標 202
13.4 隨機初始化 203
13.5 選擇聚類數 204
14、 降維(Dimensionality Reduction) 207
14.1 動機一：數據壓縮 207
14.2 動機二：數據可視化 210
14.3 主成分分析問題 211
14.4 主成分分析算法 213
14.5 選擇主成分的數量 214
14.6 重建的壓縮表示 215
14.7 主成分分析法的應用建議 217
第9周 218
15、 異常檢測(Anomaly Detection) 218
15.1 問題的動機 218
15.2 高斯分佈 220
15.3 算法 221
15.4 開發和評價一個異常檢測系統 223
15.5 異常檢測與監督學習對比 224
15.6 選擇特徵 225
15.7 多元高斯分佈（選修） 227
15.8 使用多元高斯分佈進行異常檢測（選修） 230
16、 推薦系統(Recommender Systems) 233
16.1 問題形式化 233
16.2 基於內容的推薦系統 235
16.3 協同過濾 237
16.4 協同過濾算法 239
16.5 向量化：低秩矩陣分解 240
16.6 推行工作上的細節：均值歸一化 242
第10周 243
17、 大規模機器學習(Large Scale Machine Learning) 243
17.1 大型數據集的學習 243
17.2 隨機梯度下降法 244
17.3 小批量梯度下降 245
17.4 隨機梯度下降收斂 246
17.5 在線學習 248
17.6 映射化簡和數據並行 250
18、 應用實例：圖片文字識別(Application Example: Photo OCR) 251
18.1 問題描述和流程圖 251
18.2 滑動窗口 252
18.3 獲取大量數據和人工數據 254
18.4 上限分析：哪部分管道的接下去做 255
19、 總結(Conclusion) 256
19.1 總結和致謝 256
附件 258
機器學習的數學基礎 258
高等數學 258
線性代數 266
概率論和數理統計 276
3、附錄
吳恩達視頻課程地址：
http://www.deeplearning.ai/
聲明：此筆記免費分享，僅作知識分享，勿用於任何商業用途。贈人玫瑰，手有餘香！
4、資源下載
最後，《機器學習個人筆記完整版v5.4》及《機器學習的數學基礎》的word電子版也已經打包完畢，需要的可以按照以下方式獲取：
1.掃描下方二維碼關注 “StrongerTang” 公衆號
2.公衆號後臺回覆關鍵詞：吳恩達機器學習
