1、机器学习分为有监督和无监督学习，标志是有无标签
2、无监督学习的代表是聚类和降维
3、欧氏距离
曼哈顿距离
马氏距离：距离与尺度无关，会将每个属性标准化。其中S是协方差矩阵
余弦：
4、有监督学习：当输出是离散的，认为是分类任务，训练好的模型叫分类器；当输出是连续的，认为是回归任务。
5、sklearn.linear_model，sklearn.preprocessing提供回归函数，前者是线性的。
6、任意关系都可以使用多元多项式表达，是因为任意函数都可以表示问分段多项式的形式。因此只要不考虑计算量的问题，多元回归是一定有效的。
7、支持向量机（support vector machine，SVM）。所谓支持向量是指“支持”最大间隔向量的（最大间隔超平面）的两个向量。
8、通常使用熵或者基尼系数来衡量一个决策树的好坏，而不是误差率。因为前二者的分辨率高于后者。
9、机器学习当中回归和分类都是线性的，如支持向量机要划分出一个超平面一定要求样本线性（虽然可以使用核模型但也是要求使使用核模型后达到线性。）。
10、人工神经网络使用于难以用准则来描述的数据。
11、多层感知器 = 人工神经网络
12、
13、人工神经网络非线性的关键在于激活函数。如果没有激活函数就只是线性的关系，再多的隐含层都只相当于一层。
14、convlututional NN，适用于图像处理
15、recurrent NN，使用于序列，如自然语言、单词等
16、人类非常善于理解非结构化数据，但是机器非常善于理解结构化数据，由于神经网络使得计算机更加容易理解非结构化数据
17、神经网络结果的精确度和数据集的大小以及网络的大小成正相关。
18、