原创 UFLDL——Exercise: Linear Decoders 線性解碼器
本實驗是用線性解碼器的sparse autoencoder來訓練stl-10數據庫圖片中8*8大小RGB patch塊的特徵。之前的試驗中，我們的訓練圖像都是灰度圖像，對於RGB圖像可以採用相同的方法，只需把RGB圖像的三個通道向量按照r
2018-09-03 07:34:14
1
原创 深度學習閱讀清單
推薦給深度學習初學者的深度學習材料：包含了深度學習的很全的資源：在線免費資源；課程；視頻和講座；論 文；教程；網站；數據集；框架和其它雜項。 Free Online Books Deep Learning4 by Yoshua Be
2018-09-03 07:34:11
原创 池化方法總結（Pooling）
在卷積神經網絡中，我們經常會碰到池化操作，而池化層往往在卷積層後面，通過池化來降低卷積層輸出的特徵向量，同時改善結果（不易出現過擬合）。 爲什麼可以通過降低維度呢？ 因爲圖像具有一種“靜態性”的屬性，這也就意味着在一個圖像區域有用的特徵極
2018-09-03 07:34:11
原创 Stochastic Gradient Descent (SGD)
Optimization: Stochastic Gradient Descent Overview Batch methods, such as limited memory BFGS, which use the full tra
2018-09-03 07:34:10
3
原创 UFLDL——Exercise: PCA in 2D 主成分分析
實驗要求可以參考deeplearning的tutorial， Exercise: PCA in 2D。 1. 實驗描述： 實驗在二維數據上進行PCA降維，PCA白化處理，以及ZCA白化處理，原理可以參考之間的博客，下面直接貼代碼
2018-09-03 07:34:10
1
原创 期望 方差 協方差 協方差矩陣 (Expectation Variance Covariance)
在學習機器學習的算法時經常會碰到隨機變量的數字特徵，所以在這裏做一個簡單的總結。 1、 期望(Expectation) 離散： 其中，f(x)爲隨機變量x的概率函數，事實上期望就是隨機變量的平均數。 連續： 連
2018-09-03 07:34:10
9
原创 深度學習工具包（Deep Learning Toolboxs）
一些好用的 Deep learning toolboxs DeepLearningToolbox MATLAB實現，可以使用CPU或GPU，GPU運算用gpumat實現，修改內核代碼非常方便 支持基本的 deep struct
2018-09-03 07:34:10
原创 如何在Caffe中配置每一個層的結構
最近剛在電腦上裝好Caffe，由於神經網絡中有不同的層結構，不同類型的層又有不同的參數，所有就根據Caffe官網的說明文檔做了一個簡單的總結。 1. Vision Layers 1.1 卷積層(Convolution) 類型：CONV
2018-09-03 07:34:09
原创 深度學習的一些教程
幾個不錯的深度學習教程，基本都有視頻和演講稿。附兩篇綜述文章和一副漫畫。還有一些以後補充。 Jeff Dean 2013 @ Stanford http://i.stanford.edu/infoseminar/dean.pdf
2018-09-03 07:34:09
原创 機器學習算法中如何選取超參數：學習速率、正則項係數、minibatch size
轉自：http://blog.csdn.net/u012162613/article/details/44265967 本文是《Neural networks and deep learning》概覽 中第三章的一部分，講機器學習算法中
2018-09-03 07:34:09
2
原创 python 中 dist-packages 和 site-packages 的區別
site-packages 和 dist-packages 的區別 dist-packages is a Debian-specific convention that is also present in its derivati
2018-09-03 07:34:09
原创 如何寫好一篇高質量的paper
http://blog.csdn.net/tiandijun/article/details/41775223 這篇文章來源於中科院Zhouchen Lin 教授的report，有幸讀到，和大家分享一下。技術和paper是相輔相成的，
2018-09-03 07:34:09
原创 Caffe中的優化方法
在Deep Learning中，往往loss function是非凸的，沒有解析解，我們需要通過優化方法來求解。Caffe通過協調的進行整個網絡的前向傳播推倒以及後向梯度對參數進行更新，試圖減小損失。 Caffe已經封裝好了三種優化方法
2018-09-03 07:34:09
原创 白化（Whitening） PCA白化 ZCA白化
白化是一種重要的預處理過程，其目的就是降低輸入數據的冗餘性，使得經過白化處理的輸入數據具有如下性質：(i)特徵之間相關性較低；(ii)所有特徵具有相同的方差。 白化處理分PCA白化和ZCA白化，PCA白化保證數據各維度的方差爲1，而Z
2018-09-03 07:34:07
88
原创 在Ubuntu 14.04 上安裝Caffe碰到的問題
具體的安裝過程可以參考 官網的Installation，以及網友分享的一些安裝教程，教程一，教程二，教程三。我在這裏主要記錄下我在安裝的過程中碰到的一些問題，以及解決方法（部分網上沒有提到）,而不是整個安
2018-09-03 07:34:06
1