原创 linear Decoder （線性自動稀疏編碼）
一、簡介 稀疏自編碼包含3層神經元，分別是輸入層，隱含層以及輸出層。自編碼網絡中的神經元採用的是相同的激勵函數（S型函數）。 S型函數的輸出範圍是[0,1]，當神經元採用S型函數時，其輸出範圍也在[0,1]內；由於輸出範圍在0和1之間
2020-07-01 03:56:49
原创 Autoencoder ,Sparse Coding ,Sparse autoencoder 簡介
最近剛剛運行完成sparse coding；才解決了自己的困惑，以前學習完Sparse autoencoder從感覺這兩個東西是“一丘之貉”；但是運行完成之後才發現他們兩個有很大的不同，雖然都是對數據進行變換，但是二者的變換原理是完全不同
2020-07-01 03:56:39
28
原创 ICA 原理以及相關概率論，信息論知識簡介
看完了sparse coding，開始看ICA模型，本來ng的教程上面就只有一個簡短的介紹，怎奈自己有強迫症，愛鑽牛角尖，於是乎就搜索了一些ICA的介紹文章（都是從百度文庫中搜來的），看完之後感覺這個略懂一二，遂寫文以記之，一爲加深印象，
2020-07-01 03:56:39
原创 卷積神經網絡CNN介紹：結構框架，源碼理解
1. 卷積神經網絡結構 卷積神經網絡是一個多層的神經網絡，每層都是一個變換（映射），常用卷積convention變換和pooling池化變換，每種變換都是對輸入數據的一種處理，是輸入特徵的另一種特徵表達；每層由多個二維平面組成，每個平面爲
2020-07-01 03:56:39
原创 卷積Convolution和池化pooling特徵提取，分類
前言： 本次實驗是練習convolution和pooling的使用，更深一層的理解怎樣對大的圖片採用convolution得到每個特徵的輸出結果，然後採用pooling方法對這些結果進行計算，使之具有平移不變等特性。實驗參考的是斯坦
2020-07-01 03:56:39
12
原创 kmeans特徵提取原理，詳細代碼圖解分析
原理部分主要來自大牛zouxy09和trnadomeet兩個人的博客；後面的代碼詳細講解爲自己精心編寫 一、概述 非監督學習的一般流程是：先從一組無標籤數據中學習特徵，然後用學習到的特徵提取函數去提取有標籤數據特徵，然
2020-07-01 03:56:39
原创 k-means聚類原理 代碼分析
K-means聚類算法 聚類算法，不是分類算法。 分類算法是給一個數據，然後判斷這個數據屬於已分好的類中的具體哪一類。 聚類算法是給一大堆原始數據，然後通過算法將其中具有相似特徵的數據聚爲一類。 這裏的k-means聚類，是事先給出原始數
2020-02-23 13:37:21
原创 深度學習讀書筆記之RBM（限制波爾茲曼機）
深度學習讀書筆記之RBM 聲明： 1）看到其他博客如@zouxy09都有個聲明，老衲也抄襲一下這個東西 2）該博文是整理自網上很大牛和機器學習專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻。 3）本文僅
2020-02-23 13:37:21
1
原创 ICA算法簡介
ICA算法的研究可分爲基於信息論準則的迭代估計方法和基於統計學的代數方法兩大類，從原理上來說，它們都是利用了源信號的獨立性和非高斯性。基於信息論的方法研究中，各國學者從最大熵、最小互信息、最大似然和負熵最大化等角度提出了一系列估計算法。如
2020-02-23 13:37:21
原创 DeepLearning（深度學習）原理與實現（一）
經過三年的狂刷理論，覺得是時候停下來做些有用的東西了，因此決定開博把他們寫下來，一是爲了整理學過的理論，二是監督自己並和大家分享。先從DeepLearning談起吧，因爲這個有一定的實用性（大家口頭傳的“和錢靠的很近”)，國內各個
2020-02-23 13:37:21
原创 Denosing Autoencoder原理以及結果簡介
本文是看了，bengio的論文Extracting and composing robust features with denoisingautoencoders，整理而得。 文章開始先提出什麼是好的特徵，或者好的特徵應該具有的性質：
2020-02-23 13:37:21
原创 Deep Networks for Classification 和 棧式自編碼 代碼詳細解析
本文分爲三部分，前言和實驗基礎copy自tornadomeet博客；後面代碼詳解爲自己原創。 前言： 本次是練習2個隱含層的網絡的訓練方法，每個網絡層都是用的sparse autoencoder思想，利用兩個隱含層的網絡來提取出輸入數
2020-02-23 13:37:21
原创 關於特徵和特徵學習的重要性
原文鏈接：http://blog.csdn.net/zouxy09/article/details/8775488 因爲我們要學習的是特徵的表達，那麼關於特徵，或者說關於這個層級特徵，我們需要了解地更深入點。所以在說Deep Lear
2020-02-23 13:37:21
原创 深度學習隨筆
由於筆者，還是稱作“鍵人”吧，因爲現在基本上不怎麼用筆寫字了，所以稱作筆者有些臭不要臉了，而稱作“鍵人”則是一種與時俱進的表現。 鑑於這是一篇隨筆，不是嚴謹的技術性文章，自己就寫的有些隨意，說實話就是扯吧，扯到哪算哪。 憶往昔，形單影隻苦
2020-02-23 13:37:21
原创 Denosing Autoencoder訓練過程代碼詳解
普通deep autoencoder訓練過程 本文主要參考Deeplearn toolbox中代碼 matlab的Deep Learning toolbox，見：https://github.com/rasmusbergpalm/Dee
2020-02-23 13:37:21