深度学习学习笔记（一）：logistic regression与Gradient descent 2018.9.16

写在开头：这是本人学习吴恩达在网易云课堂上的深度学习系列课程的学习笔记，仅供参考，欢迎交流学习！

一，先介绍了logistic regression，逻辑回归就是根据输入预测一个值，这个值可能是0或者1,其图像是一条s形曲线，由预测值与真实值的差距计算出loss function损失函数和cost function成本函数，损失函数值单个样本的 效果；成本函数是用来体现整个算法的效果，是每个样本的损失函数的累加。接下来用梯度下降法，来找w 和b的最优解，使得成本函数最小化，就是算法的效果最好。梯度下降算法就是使凸函数朝向全局最小的方向移动，无论起始点在哪里 都可以实现。

二，然后比较了向量化，vectorization的好处，由于GPU和CPU都是单指令多数据流SIMD，使用单一指令来代替for循环可以极大加快运算速度，加快500倍左右，这就体现了向量化的重要性。

三，tips：python中的numpy库非常好用，其中

import numpy as np

np.dot(a,b)是计算两个矩阵的乘积

np.random.randn(2,3)是生成一个随机矩阵，2*3的

并且建议生成随机矩阵时不要a=np.random.randn(1000)只写一个参数，这样a.shape=(1000,)，不是一个标准的矩阵，最好明确写清楚（1，1000）还是（1000，1）否则后面容易出问题。