http://blog.csdn.net/dark_scope/article/details/9942775
==========================================================================================
最近一直在看Deep Learning，各類博客、論文看得不少
但是說實話，這樣做有些疏於實現，一來呢自己的電腦也不是很好，二來呢我目前也沒能力自己去寫一個toolbox
只是跟着Andrew Ng的UFLDL tutorial 寫了些已有框架的代碼(這部分的代碼見github)
後來發現了一個matlab的Deep Learning的toolbox，發現其代碼很簡單，感覺比較適合用來學習算法
再一個就是matlab的實現可以省略掉很多數據結構的代碼，使算法思路非常清晰
所以我想在解讀這個toolbox的代碼的同時來鞏固自己學到的，同時也爲下一步的實踐打好基礎
(本文只是從代碼的角度解讀算法，具體的算法理論步驟還是需要去看paper的
我會在文中給出一些相關的paper的名字，本文旨在梳理一下算法過程，不會深究算法原理和公式)
==========================================================================================
使用的代碼：DeepLearnToolbox ，下載地址：點擊打開，感謝該toolbox的作者
==========================================================================================
今天介紹的呢是DL另一個非常重要的模型：SAE
把這個放在最後來說呢，主要是因爲在UFLDL tutorial 裏已經介紹得比較詳細了，二來代碼非常簡單(在NN的基礎之上)
先放一張autoencoder的基本結構：
基本意思就是一個隱藏層的神經網絡，輸入輸出都是x，屬於無監督學習
==========================================================================================
基本代碼
saesetup.m
- function sae = saesetup(size)
- for u = 2 : numel(size)
- sae.ae{u-1} = nnsetup([size(u-1) size(u) size(u-1)]);
- end
- end
saetrain.m
- function sae = saetrain(sae, x, opts)
- for i = 1 : numel(sae.ae);
- disp(['Training AE ' num2str(i) '/' num2str(numel(sae.ae))]);
- sae.ae{i} = nntrain(sae.ae{i}, x, x, opts);
- t = nnff(sae.ae{i}, x, x);
- x = t.a{2};
- %remove bias term
- x = x(:,2:end);
- end
- end
其實就是每一層一個autoencoder，隱藏層的值作爲下一層的輸入
各類變形
爲了不致於本文內容太少。。。現在單獨把它的幾個變形提出來說說
sparse autoencoder：
這就是ufldl講的版本，toolbox中的代碼和ufldl中練習的部分基本一致：
在nnff.m中使用：nn.p{i} = 0.99 * nn.p{i} + 0.01 * mean(nn.a{i}, 1);計算
在nnbp.m中使用
pi = repmat(nn.p{i}, size(nn.a{i}, 1), 1);
sparsityError = [zeros(size(nn.a{i},1),1) nn.nonSparsityPenalty * (-nn.sparsityTarget ./ pi + (1 - nn.sparsityTarget) ./ (1 - pi))];
計算sparsityError即可
denoising autoencoder：
denoising其實就是在autoencoder的基礎上，給輸入的x加入噪聲，就相當於dropout用在輸入層
toolbox中的也實現非常簡單：
在nntrain.m中：
batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction)
也就是隨即把大小爲(nn.inputZeroMaskedFraction)的一部分x賦成0，denoising autoencoder的表現好像比sparse autoencoder要強一些
Contractive Auto-Encoders：
這個變形呢是《Contractive auto-encoders: Explicit invariance during feature extraction》提出的
這篇論文裏也總結了一下autoencoder，感覺很不錯
Contractive autoencoders的模型是：
其中：
論文裏說：這個項是
encourages the mapping to the feature space to be contractive in the neighborhood of the training data
具體的實現呢是：
代碼呢參看：論文作者提供的：點擊打開鏈接
主要是
jacobian(self，x):
_jacobi_loss():
_fit_reconstruction():
這幾個函數和autoencoder有出入，其實也比較簡單，就不細講了
總結：
