PyTorch学习（神经网络基础1）

之前看的那个本深度学习书太难啃了，好多概念都不懂，真就从入门到放弃呗，于是我换了本从基础讲的，先补一补再回去看吧（笑哭）。

训练集、测试集、矩阵

训练集和测试集内部包含的数据类型都是相同的，即（x，y），x代表输入数据，特征向量，是个n维的向量；y代表输出值，标签。
当我们想把训练集变得更紧凑是时，可以用X一个矩阵把所有的特征向量放到一起，第一个特征向量放在第一列，第二个放在第二列，依次第m个放在m列。所以这个矩阵有m列，m为样本个数。
这样好像就有点能明白之前算法中矩阵是怎么突然出现的了。

逻辑回归

这里的例子是二元分类的，你进行一次输入想让算法输出预测，称之为𝑦^，代表着真实输出y的一种情况的可能性。X是n维的特征向量，即是输入，用w代表逻辑回归的参数，也是一个n维向量，参数中还有一个b，一个实数代表偏差。
$y=w^Tx+b$
这是个线性函数，和线性回归的函数好像。
不过二元分类要的是出现的概率，答案的数值只能在0到1之间，线性函数明显超出了这个范围，要把这个函数当中sigmoid函数的参数，y=w^Tx+b记为z。
sigmod的函数样式和公式如下：
$\delta（z）= {1\over1+e^{-z}}$

不过其实这种方法只是极限值为0和1且变换曲线太慢了，作为激活函数已经有了更好的替代。

逻辑回归的代价函数

了解代价函数前，需要知道损失函数，损失函数是根据单个训练样本的表现的定义的，代价函数则是对整体的表现，可以设为m个样本的损失函数求和然后除以m，损失函数和代价函数都是为了调整参数w与b而设置的。
在逻辑回归中损失函数可以设为：
$L(y^-,y)=-ylog(y^-)-(1-y)log(1-y^-)$
代价函数则为：
$J(w,b)={1\over m}\sum_1^mL(y^{-(i)},y^{(i)})$

梯度下降法

有了代价函数，就可以通过最小化代价函数对参数w、b进行训练了。
上面给出的代价函数是一个凸函数，只需要在这个函数中找到w，b使得代价函数的值最小即可。
其更新参数的方法为：
$w:=w-a{\delta j(w,b)\over\delta w}$
$b:=b-a{\delta j(w,b)\over\delta b}$
a代表学习率，后面分式是代价函数的偏导数，代表在某一方向的斜率，通过调整学习率可以控制w,b接近最低点的速度。