Neural Networks and Deep Learning習題解答--神經網絡結構

原創

2019-06-12 02:50

神經網絡與深度學習習題解答

Neural Networks and Deep Learning(作者 Michael Nielsen)書中第二章Using neural nets to recognize handwritten digits的A simple network to classify handwritten digits一節，該節簡單說明了神經網絡原理並給出一些啓發式的思考。該節給出了一個問題

There is a way of determining the bitwise representation of a digit by adding an extra layer to the three-layer network above. The extra layer converts the output from the previous layer into a binary representation, as illustrated in the figure below. Find a set of weights and biases for the new output layer. Assume that the first 3 layers of neurons are such that the correct output in the third layer (i.e., the old output layer) has activation at least 0.99, and incorrect outputs have activation less than 0.01.

通過在上述的三層神經網絡加一個額外的一層就可以實現按位表示數字。額外的一層把原來的輸出層轉化爲一個二進制表示，如下圖所示。爲新的輸出層尋找一些合適的權重和偏置。假定原先的3層神經網絡在第三層得到正確輸出（即原來的輸出層）的激活值至少是0.99，得到錯誤的輸出的激活值至多是0.01。

這裏說的三層神經網絡是用來對手寫數字進行識別對網絡，輸入爲784(28*28)個神經元，輸出有10(0~9)個神經元，被激活的神經元所在的序號表示該網絡輸出對結果，比如輸出爲0010000000表示識別數字爲2。現在的問題是如果再添加一層只有四個神經元的網絡，那麼原來有10個神經元的網絡與這隻有4個神經元的網絡有什麼關係，即如何設計這個網絡，如何設計權重。

網絡見上圖，分析見下圖。我們將0到9的4位二進制表示分別寫出，4位從高位到低位分別用a、b、c和d表示。分析可知a位的數字僅僅由數字8和9決定，即當識別的數字位8或者9的時候，輸出層的a位爲1，是不是找到聯繫了！

而8和9在原來的輸出層表示的是什麼呢，8爲0000000010，9爲0000000001，那麼是不是第三層的第8個神經元和第9個神經元對輸出層的a位(即第一個神經元)對激勵有積極作用。我們把這種積極作用用權重1表示，將其他沒有積極作用對連接用權重-1表示。如下圖所示。下面讓我們來驗證下。

a位的計算公式爲 $$$output_a = \sigma(\sum_{n=1}^N w_n x_n$$)$ ，當輸出爲8的時候，我們需要研究的神經元部分的輸入則爲0000000010，故 $\sum_{n=1}^N w_n x_n=1$ ,故 $\sigma(z)>0.5$ ，這裏通過閾值實現輸出爲1，則a位爲1。當然，由題可知，1可能爲0.99，0也可能爲0.01，最壞的情況是 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.99 0.01，這樣 $\sum_{n=1}^N w_n x_n=0.99-0.01*9=0.90$ ， $\sigma(z)>0.5$ 仍成立，因而結果仍然跟預期一致。當輸出爲4時，則10位神經元爲0000100000，故 $\sum_{n=1}^N w_n x_n=-1$ ， $\sigma(z)<0.5$ ，通過閾值實現輸出爲0，則a位爲0，和預期一致。這樣10個神經元到輸出層的第一個神經元的權重就確定來，依此類推，可以算出這10個神經元到其他3個輸出神經元的權重。