0418
B站深度學習視頻https://www.bilibili.com/video/BV1ht411i7Ld?p=1
0-11 總結
計算機視覺識別圖像都是轉換成三維數組。
K-近鄰算法 KNN
K近鄰會把背景因素考慮進來
Numpy.argmin
https://zhidao.baidu.com/question/987582984789125539.html
Numpy.zeros
https://blog.csdn.net/lens___/article/details/83927880
Numpy.argsort
https://blog.csdn.net/qq_38486203/article/details/80967696
線性分類 f()=wx+b
X是圖像的像素點是n*1的矩陣
W是訓練的權重參數，是幾行*n 的矩陣
B是偏置，就是可允許誤差的範圍
最後得到一個分類的得分情況
SVM損失函數
正則化懲罰項
懲罰權重參數，影響最後的損失函數。
提高神經網絡的泛化能力，防止過擬合
L1 L2 正則懲罰項
https://blog.csdn.net/weixin_44451032/article/details/100023037
一般都爲L2正則化 12
λw²
損失函數終極版
Sigmoid函數
橫座標是可以輸入任意實數，縱座標是（0,1）區間的，可以認爲是某個類別的概率
常用來做二分類問題
將得分函數映射到sigmoid函數中，得到概率值，通過概率得到分類
Softmax分類器
SVM輸出的是一個得分值
Softmax輸出的是概率
歸一化
把數據變成(０，１)或者（1,1）之間的小數。主要是爲了數據處理方便提出來的，把數據映射到0～1範圍之內處理，更加便捷快速
假設有3個數字，1,2,3,。 歸一化操作就是將1/(1+2+3)，2/(1+2+3)，3/(1+2+3) 得到三個(０，１)內的小數。它們相加還是等於1 ，相當於找到當前類別的概率值。
Svm和softmax的對比
不用SVM 判斷的不是很精細
優化，學習率
做完一次更新後，需要乘上學習率，是爲了防止步子邁的太大，越過了最低點。
優化和學習率 在0416中寫過
梯度下降
反向傳播
鏈式求導法則
通過loss值，可以判斷權重參數w的好不好
從輸入X，也就是訓練集中的圖像 直到 產生損失函數，得到loss 這叫前向傳播
通常神經網絡是通過BP（back propagation）算法來求解的，BP算法就是，通過前向傳播得到loss，然後經過反向傳播 去優化權重參數
Batchsize 或 batch 就是一次性迭代多少張圖片
迭代完一次整個訓練集 叫一個Epoch
一個batch的前向傳播+反向傳播 叫一次迭代