激活函数不能使用线性函数。为什么不能使用线性函数呢？因为使用线性函数的话，加深神经网络的层数就没有意义了。
线性函数的问题在于，不管如何加深层数，总是存在与之等效的“无
隐藏层的神经网络”。为了具体地（稍微直观地）理解这一点，我们来思
考下面这个简单的例子。这里我们考虑把线性函数 h(x) = cx 作为激活
函数，把y(x) = h(h(h(x)))的运算对应3层神经网络 A。这个运算会进行
y(x) = c × c × c × x的乘法运算，但是同样的处理可以由y(x) = ax方
（注意，a = c三次方）这一次乘法运算（即没有隐藏层的神经网络）来表示。
使用线性函数时，无法发挥多层网络带来的优势。因此，为了发挥叠加层所带来的优势，激活函数必须使用非线性函数。