原创 S02: 手寫深度學習框架-MNIST例子

筆者手寫了簡單的深度學習框架,這個小項目源於筆者學習pytorch的過程中對autograd的探索。項目名稱爲kitorch。該項目基於numpy實現,代碼的執行效率比cpu的pytorch要慢。雖然如此,我想對於初學者來說,有興

原创 神經網絡學習(九)優化方法:規範化

系列博客是博主學習神經網絡中相關的筆記和一些個人理解,僅爲作者記錄筆記之用,不免有很多細節不對之處。 規範化 本節,我們會討論一種最爲常用的規範化(regularization)手段——有時候被稱爲權重衰減(weight-deca

原创 神經網絡學習(六)MNIST手寫字識別 --- Matlab實現

系列博客是博主學習神經網絡中相關的筆記和一些個人理解,僅爲作者記錄筆記之用,不免有很多細節不對之處。代碼見github MNIST數據 MNIST 數據集作爲入門數據集, 很多教程都有所介紹。我們這裏利用的數據是從neural n

原创 神經網絡學習(七)MNIST手寫字識別 --- Python實現

系列博客是博主學習神經網絡中相關的筆記和一些個人理解,僅爲作者記錄筆記之用,不免有很多細節不對之處。 說明 上一節,我們介紹了MNIST手寫字的Matlab實現,本節我們看看它的一個簡單的Python實現(警告:博主是Python

原创 S01: 手寫深度學習框架

手寫深度學習框架 筆者手擼了簡單的深度學習框架,這個小項目源於筆者學習pytorch的過程中對autograd的探索。項目名稱爲kitorch。 該項目基於numpy實現,代碼的執行效率比cpu的pytorch要慢。盡然如此,我想

原创 神經網絡學習(八)優化方法:交叉熵代價函數

##回顧 上一節完成了BP神經網絡的Python實現,並稍微改進了分類效果。下面是三層網絡 [784,30,50,10],mini_batch_size = 10, eta = 3.0 的結果, 識別率基本保持在96.5%-97.

原创 S03: 1.1 Autograd 自動求導

筆者手寫了簡單的深度學習框架),這個小項目源於筆者學習pytorch的過程中對autograd的探索。項目名稱爲kitorch。該項目基於numpy實現,代碼的執行效率比cpu的pytorch要慢。雖然如此,我想對於初學者來說,有

原创 九連環的遞歸解法

最近在重溫數據結構和算法分析。剛好手頭有個九連環,就想着用遞歸寫寫個九連環的解法。九連環解法的基本原則: 第一個環在任何時候都是可以自由上下的 如果希望第 n 個環能自由上下,那麼 – 第 n-1 個環必須在杆上 – 前面第 n

原创 Linux下批量殺掉 包含某個關鍵字的 程序進程

有時候因爲一些情況,需要把 linux 下符合某一項條件的所有進程 kill 掉,又不能用 killall 直接殺掉某一進程名稱包含的所有運行中進程(我們可能只需要殺掉其中的某一類或運行指定參數命令的進程),這個時候我們需要運用

原创 Keras學習(二)MNIST 識別---CNN 實現

【本系列博文是學習 Keras 的筆記,Keras 版本爲2.1.5,主要的參考資料爲:Keras中文文檔】 上一節,我們從一個簡單的 DNN MNIST 的例子學習 Keras 的基本使用,包括如何定義一個簡單的模型、如何訓練