1、邏輯迴歸
模型:
首先,你需要輸入特徵x,參數w和b,計算出z,然後利用z就可以計算出a, 這裏將符號換爲表示輸出的𝑦,然後就可以計算出loss fuction L(a,𝑦)。計算步驟如下:
2、神經網絡
模型
在這個神經網絡模型中對應的3個節點,首先計算第一層網絡中的各個節點相關的數𝑧[1],接着計算𝛼[1],在計算下一層網絡同理;我們會使用符號[𝑚]表示第m層網絡中節點相關的數,這些節點的集合被稱爲第m層網絡。這樣可以保證[𝑚]不會和我們之前用來表示單個的訓練樣本的[𝑖](即我們使用表示第i個訓練樣本)混淆;整個計算過程,公式如下:
接下來,你需要使用另外一個線性方程對應的參數計算𝑧[2], 計算 𝑎[2], 此時𝑎[2]就是整個神經網絡最終的輸出,用𝑦表示網絡的輸出。
在神經網絡中,我們反覆的計算z和a,最後得到了最終的輸出loss function。
同樣,在神經網絡中也有從後向前的計算,如上圖,最後需要計算d𝑎[2]、d𝑧[2],計算出來之後,然後計算d𝑤[2]、𝑑𝑏[2]等,按上圖箭頭表示的那樣,從右到左反向計算。