深度學習學習筆記（一）：logistic regression與Gradient descent 2018.9.16

寫在開頭：這是本人學習吳恩達在網易雲課堂上的深度學習系列課程的學習筆記，僅供參考，歡迎交流學習！

一，先介紹了logistic regression，邏輯迴歸就是根據輸入預測一個值，這個值可能是0或者1,其圖像是一條s形曲線，由預測值與真實值的差距計算出loss function損失函數和cost function成本函數，損失函數值單個樣本的 效果；成本函數是用來體現整個算法的效果，是每個樣本的損失函數的累加。接下來用梯度下降法，來找w 和b的最優解，使得成本函數最小化，就是算法的效果最好。梯度下降算法就是使凸函數朝向全局最小的方向移動，無論起始點在哪裏 都可以實現。

二，然後比較了向量化，vectorization的好處，由於GPU和CPU都是單指令多數據流SIMD，使用單一指令來代替for循環可以極大加快運算速度，加快500倍左右，這就體現了向量化的重要性。

三，tips：python中的numpy庫非常好用，其中

import numpy as np

np.dot(a,b)是計算兩個矩陣的乘積

np.random.randn(2,3)是生成一個隨機矩陣，2*3的

並且建議生成隨機矩陣時不要a=np.random.randn(1000)只寫一個參數，這樣a.shape=(1000,)，不是一個標準的矩陣，最好明確寫清楚（1，1000）還是（1000，1）否則後面容易出問題。