MachineLearning-Neural Network与Logistic Regression关系

神经网络与逻辑回归的关系:
	逻辑回归就是没有隐含层的神经网络。
	两个的假设函数都是 h(x) = sigmoid(theta * x)
1.神经网络:

1.1 为什么需要神经网络
	当一个非线性分类,特征数很大时,使用逻辑回归会导致 theta 出现很多高阶项,
	计算效率下降,才能对训练集完成拟合。
	这时逻辑回归分类器就不适用了。

在这里插入图片描述

1.2 神经网络 图解:

第一列为输入层,第二列,第三列是隐含层,h(x)是输出层。
theta 的带括号的上标j,是指在神经网络的第j层到第j+1层的权重
theta 的右下标,两位数,第一位是目的地神经元,第二位是源头神经元,反过来了。

在这里插入图片描述
在这里插入图片描述

1.3 神经网络 向量化实现(Vectorized Implementation)

把各层都用向量矩阵展现:
a 就是 x
然后就是从第一层输入,经过与 theta 权重相乘,输出到下一层,不断迭代

在这里插入图片描述
在这里插入图片描述

1.4 神经网络 代价函数如图:

其实与逻辑回归主题函数相同,多了很多嵌套。

术语:
m  — 训练example的数量
K   — 最后一层(输出层)的神经元的个数,也等于分类数(分K类,K≥3)
L  — 神经网络总共的层数(包括输入层和输出层)
Θ(l)  — 第l层到第l+1层的权重矩阵
sl  — 第l层神经元的个数, 注意i从1开始计数,bias神经元的权重不算在正则项内
sl+1  — 第l+1 层神经元的个数

y(i)k  — 第i个训练exmaple的输出(长度为K个向量)的第k个分量值
(hθ(x(i)))k  — 对第i个example用神经网络预测的输出(长度为K的向量)的第k个分量值

在这里插入图片描述

2. 神经网络与逻辑回归的关系:
	theta一维的就是逻辑回归
	theta是个矩阵的能产生多个输出,在加上多层的话就是神经网络

在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章