哲哲的ML筆記(十七:神經網絡中的代價函數)

參數說明

神經網絡的訓練樣本數目:m
輸入:一組X, 展開爲(x^1,y^1),(x^2,y^2), ……,(x^m,y^m)
輸出:y
神經網絡的層數:L
l層的激活單元數量:s_l,下圖中s_1=3,s_2=5,s_4=s_L=4

將神經網絡的分類定義爲兩種情況:二類分類和多類分類,對應輸出y
二分類時,s_L=1, y=0/1
多分類(K)時,s_L=k, y_i=1表示分到第i

代價函數

邏輯迴歸中的代價函數
J(\theta)=-\frac{1}{m}\sum_{i=1}^m[y^{i}log(h_\theta(x^{i}))+(1-y^{i})log(1-h_\theta(x^{i})) ]+\frac{\lambda}{2m}\sum_{j=1}^n\theta^{2}_j
神經網絡中的代價函數
J(\theta)=-\frac{1}{m}[\sum_{i=1}^m\sum_{k=1}^Ky^{i}_klog(h_\theta(x^{i}))_k+(1-y^{i}_k)log(1-h_\theta(x^{i}))_k ]+\frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{l+1}}(\theta^{l}_{ji})^2
神經網絡中的代價函數的正則化的那一項只是排除了每一層\theta_0後,每一層的\theta矩陣的和。最裏層的j循環循環所有的行(由 s_{l+1} 層的激活單元數決定),循環i則循環所有的列,由該層(s_l層)的激活單元數所決定

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章