1、前言
谈到机器学习和深度学习如何入门？相信很多人都会推荐吴恩达的在线课程。但是肯定有很多小伙伴会觉得如果配套一份笔记就完美了，既可以直接做笔记，也便于后期复习，可谓事半功倍。
然后，就有了黄海广博士为首的一群机器学习爱好者发起了一个公益性质的项目：吴恩达机器学习和深度学习课程的字幕翻译以及笔记整理。
去年这个时候我自己也是无意中看到了黄海广博士分享的资料，当时是机器学习+深度学习两份笔记，我虽然两本都没有看完，但是不得不说受益匪浅。
前段时间分享了吴恩达的深度学习笔记[点击此处查看]，没想到有很多人下载，并且有不少朋友询问有没有吴恩达老师机器学习的笔记。所以今天同样把机器学习的笔记也分享出来，同时《机器学习的数学基础》也一起分享出来，希望可以和更多的小伙伴一起学习。就像黄海广博士说的那样：
知识在于分享， 赠人玫瑰，手有余香！ 在人工智能的道路上，你不是一个人在战斗！
2、笔记目录
第1周 1
1、 引言(Introduction) 1
1.1 欢迎 1
1.2 机器学习是什么？ 4
1.3 监督学习 6
1.4 无监督学习 10
2、 单变量线性回归(Linear Regression with One Variable) 15
2.1 模型表示 15
2.2 代价函数 17
2.3 代价函数的直观理解I 19
2.4 代价函数的直观理解II 20
2.5 梯度下降 21
2.6 梯度下降的直观理解 24
2.7 梯度下降的线性回归 27
2.8 接下来的内容 29
3、 线性代数回顾(Linear Algebra Review) 30
3.1 矩阵和向量 30
3.2 加法和标量乘法 31
3.3 矩阵向量乘法 32
3.4 矩阵乘法 33
3.5 矩阵乘法的性质 34
3.6 逆、转置 35
第2周 36
4、 多变量线性回归(Linear Regression with Multiple Variables) 36
4.1 多维特征 36
4.2 多变量梯度下降 37
4.3 梯度下降法实践1-特征缩放 39
4.4 梯度下降法实践2-学习率 40
4.5 特征和多项式回归 41
4.6 正规方程 42
4.7 正规方程及不可逆性（选修） 44
5、 Octave教程(Octave Tutorial) 47
5.1 基本操作 47
5.2 移动数据 54
5.3 计算数据 62
5.4 绘图数据 70
5.5 控制语句：for，while，if语句 76
5.6 向量化 82
5.7 工作和提交的编程练习 86
第3周 88
6、逻辑回归(Logistic Regression) 88
6.1 分类问题 88
6.2 假说表示 90
6.3 判定边界 92
6.4 代价函数 94
6.5 简化的成本函数和梯度下降 98
6.6 高级优化 101
6.7 多类别分类：一对多 105
7、 正则化(Regularization) 108
7.1 过拟合的问题 108
7.2 代价函数 110
7.3 正则化线性回归 112
7.4 正则化的逻辑回归模型 113
第4周 115
8、 神经网络：表述(Neural Networks: Representation) 115
8.1 非线性假设 115
8.2 神经元和大脑 117
8.3 模型表示1 121
8.4 模型表示2 124
8.5 特征和直观理解1 126
8.6 样本和直观理解II 128
8.7 多类分类 130
第5周 131
9、 神经网络的学习(Neural Networks: Learning) 131
9.1 代价函数 131
9.2 反向传播算法 133
9.3 反向传播算法的直观理解 136
9.4 实现注意：展开参数 138
9.5 梯度检验 139
9.6 随机初始化 141
9.7 综合起来 142
9.8 自主驾驶 143
第6周 146
10、 应用机器学习的建议(Advice for Applying Machine Learning) 146
10.1 决定下一步做什么 146
10.2 评估一个假设 149
10.3 模型选择和交叉验证集 151
10.4 诊断偏差和方差 153
10.5 正则化和偏差/方差 155
10.6 学习曲线 157
10.7 决定下一步做什么 159
11、 机器学习系统的设计(Machine Learning System Design) 161
11.1 首先要做什么 161
11.2 误差分析 162
11.3 类偏斜的误差度量 165
11.4 查准率和查全率之间的权衡 166
11.5 机器学习的数据 168
第7周 172
12、 支持向量机(Support Vector Machines) 172
12.1 优化目标 172
12.2 大边界的直观理解 178
12.3大边界分类背后的数学（选修） 183
12.4 核函数1 190
12.5 核函数2 192
12.6 使用支持向量机 194
第8周 197
13、 聚类(Clustering) 197
13.1 无监督学习：简介 197
13.2 K-均值算法 200
13.3 优化目标 202
13.4 随机初始化 203
13.5 选择聚类数 204
14、 降维(Dimensionality Reduction) 207
14.1 动机一：数据压缩 207
14.2 动机二：数据可视化 210
14.3 主成分分析问题 211
14.4 主成分分析算法 213
14.5 选择主成分的数量 214
14.6 重建的压缩表示 215
14.7 主成分分析法的应用建议 217
第9周 218
15、 异常检测(Anomaly Detection) 218
15.1 问题的动机 218
15.2 高斯分布 220
15.3 算法 221
15.4 开发和评价一个异常检测系统 223
15.5 异常检测与监督学习对比 224
15.6 选择特征 225
15.7 多元高斯分布（选修） 227
15.8 使用多元高斯分布进行异常检测（选修） 230
16、 推荐系统(Recommender Systems) 233
16.1 问题形式化 233
16.2 基于内容的推荐系统 235
16.3 协同过滤 237
16.4 协同过滤算法 239
16.5 向量化：低秩矩阵分解 240
16.6 推行工作上的细节：均值归一化 242
第10周 243
17、 大规模机器学习(Large Scale Machine Learning) 243
17.1 大型数据集的学习 243
17.2 随机梯度下降法 244
17.3 小批量梯度下降 245
17.4 随机梯度下降收敛 246
17.5 在线学习 248
17.6 映射化简和数据并行 250
18、 应用实例：图片文字识别(Application Example: Photo OCR) 251
18.1 问题描述和流程图 251
18.2 滑动窗口 252
18.3 获取大量数据和人工数据 254
18.4 上限分析：哪部分管道的接下去做 255
19、 总结(Conclusion) 256
19.1 总结和致谢 256
附件 258
机器学习的数学基础 258
高等数学 258
线性代数 266
概率论和数理统计 276
3、附录
吴恩达视频课程地址：
http://www.deeplearning.ai/
声明：此笔记免费分享，仅作知识分享，勿用于任何商业用途。赠人玫瑰，手有余香！
4、资源下载
最后，《机器学习个人笔记完整版v5.4》及《机器学习的数学基础》的word电子版也已经打包完毕，需要的可以按照以下方式获取：
1.扫描下方二维码关注 “StrongerTang” 公众号
2.公众号后台回复关键词：吴恩达机器学习
