原创 用ReL解決VanishingGradient問題

                                 

原创 神經網絡參數hyper-parameters選擇

總體策略:    從簡單的出發: 開始實驗 一: 如: MNIST數據集, 開始不知如何設置, 可以先簡化使用0,1兩類圖, 減少80%數據量, 用兩層神經網絡[784, 2] (比[784, 30, 2]快) 更快的獲取反饋: 之前每個

原创 CNN

流程: 1:CNN結構很不一樣, 輸入是一個二維的神經元 (28x28): 2:28x25,    5x5                               => 24x24 3:Feature map:  從輸入層轉化到輸出層

原创 CNN實現

代碼調用NetWork3 #import mnist_loader import network3 from network3 import Network from network3 import ConvPoolLayer,Full

原创 Deep Brief Network 和 Autoencoder

一RBM、Deep Brief Network 和 Autoencoder區別 一、RBM 1、定義【無監督學習】 RBM記住三個要訣:1)兩層結構圖,可視層和隱藏層;【沒輸出層】2)層內無連接,層間全連接;3)二值狀態值,前向反饋和逆向

原创 BP(深度學習重寫)

深度學習(左邊)與機器學習(右邊)的區別,主要是總結了4個方程     代碼流程按照下面來寫                                                        

原创 Softmax和Overfitting

補充: 1.softmax初探 在機器學習尤其是深度學習中,softmax是個非常常用而且比較重要的函數,尤其在多分類的場景中使用廣泛。他把一些輸入映射爲0-1之間的實數,並且歸一化保證和爲1,因此多分類的概率之和也剛好爲1。 首先我們簡

原创 基於ubuntu 無法import Theano

出現問題: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available. Could n

原创 深度學習知識點總結(一)

目錄: 1編譯                                                            2訓練集  驗證集  測試集之間關係   3 Python 中list集合  如何判斷是否爲空     

原创 SGD

                    Stochastic Gradient Descent       原理 C: cost w: weight 權重 b: bias 偏向 n: 訓練數據集實例個數 x: 輸入值 a: 輸出

原创 cross-entropy

定義  cross-entropy函數 以前的Cost 函數 對比與總結     補充: 利用cross-entropy cost代替quadratic cost來獲得更好的收斂                          

原创 WPS無法清除雲文檔

嘗試方法(最終沒解決,繼續開了個會員) PC端: 1在PC端WPS清除雲文檔——自動上傳裏面文件,沒用,並且後面雲文檔莫名其妙沒有自動上傳這個選項了 2在PC端WPS清除雲文檔——我的文檔——設備,結果清除了我本地的很多文檔,我又花了不少

原创 python代碼調試(七)——輸入輸出及異常

Pickle Python 提供了一個叫作 Pickle 的標準模塊,通過它你可以將任何純 Python 對象存儲到一個文件中,並在稍後將其取回。這叫作持久地(Persistently)存儲對象。 import pickle shopl

原创 python代碼調試(四)——模塊

模塊 import sys import os; print('are you ok') for i in sys.argv: print(i,end = '') # print(os.getcwd()) 可以查看文件在哪個目錄(

原创 python代碼調試(二)——控制流

if    while   for    break    continue   if number = 23 guess = int(input("enter an integer: ")) if guess == number: