目录
什么是神经网络
以房屋价格为例，输入房屋尺寸，经过神经元，输出价格。这是一个单神经元。
【神经元节点先计算线性函数（z = Wx + b），再计算激活。】
ReLU函数：修正线性单元，是一种人工神经网络中常用的激活函数（activation function），修正指取不小于0的值
一个复杂的神经网络：将如上的独立简单神经元叠加起来
神经网络的一部分神奇之处在于，当你实现它之后，你要做的只是输入，就能得到输出。因为它可以自己计算你训练集中样本的数目以及所有的中间过程。
上图中，x1~x4是输入层，第2层为隐藏单元，在一个神经网络中，它们每个都从输入的四个特征获得自身输入，输入层和中间层被紧密的连接起来了。
用神经网络进行监督学习
到目前几乎所有由神经网络创造的经济价值，本质上都离不开一种叫做监督学习的机器学习方法。需要机智的选择x和y，才能解决特定问题。
图像领域中，经常应用的是卷积神经网络CNN；对于序列数据，如音频是一维时间序列，通常使用RNN，一种循环神经网络；语言最自然的表示方式也是序列数据，可以用更复杂的RNNs。
下图分别是标准神经网络、CNN、RNN的结构。卷积网络通常用于图像；RNN非常适合这种一维序列，其中包含时间成分。
机器学习也应用于结构化数据和非结构化数据。
结构化数据：数据的数据库，如放假预测中的房屋大小、卧室数目，每个特征都有清晰的定义
非结构化数据：如音频、图像、文本，这里的特征就可能是图像的像素值和文本中的单词。从历史经验看，非结构化数据更难让计算机理解。
神经网络彻底改变了监督学习。多亏了深度学习和神经网络，计算机现在能更好地解释非结构化数据。
为什么深度学习会兴起
数据规模巨大：需要训练大规模NN才能提高性能
算法的改进：增加了计算速度，使代码运行更快，可以更快训练大规模神经网络
例如激活函数：将Sigmod函数换成ReLU函数，梯度下降法运行得更快
