原创 閱讀文獻的三大問題:坐不住,記不住,想不開

From: http://blog.sciencenet.cn/home.php?mod=space&uid=2068&do=blog&id=500206 閱讀文獻的三大問題:坐不住,記不住,想不開   文獻閱讀是科研的重要基

原创 UFLDL——Exercise: Stacked Autoencoders棧式自編碼算法

實驗要求可以參考deeplearning的tutorial, Exercise: Implement deep networks for digi

原创 對稱矩陣(Symmetric Matrices)

如果矩陣滿足,則矩陣P稱爲對稱矩陣,對稱矩陣有很多優秀的屬性,可以說是最重要的矩陣。 1.對稱矩陣的對角化 如果一個矩陣有n個線性無關的特徵向量,則矩陣是可對角化的,矩陣可表示成,相應的。因爲,很有可能A的逆等於A的轉置。同樣的,就可能有

原创 形狀特徵——Sift特徵

形狀特徵的表達必須以對圖像中物體或區域的分割爲基礎,由於當前的技術無法做到準確而魯棒的自動圖像分割,圖像的形狀特徵只能在某些特殊應用場合使用,在這些應用中圖像包含的物體或區域可以直接獲得。另一方面,由於人們對物體形狀的變換、旋轉和縮放主觀

原创 Logistic and Softmax Regression (邏輯迴歸和Softmax迴歸)

1. 簡介 邏輯迴歸和Softmax迴歸是兩個基礎的分類模型,雖然聽名字以爲是迴歸模型,但實際我覺得他們也有一定的關係。邏輯迴歸,Softmax迴歸以及線性迴歸都是基於線性模型,它們固定的非線性的基函數(basis function) 的

原创 矩陣的對角化(Diagonalizing a Matrix )

如果一個矩陣時一個上三角、下三角或者對角矩陣,這個帶來很大的方便。但是往往很多矩陣都不是對角矩陣,本文就來介紹如何使用特徵值和特徵向量把一個矩陣變成對角矩陣! 1.對角化 我們假設一個n*n的矩陣有n個線性無關的特徵向量x1,x2....

原创 UFLDL——Exercise:Self-Taught Learning 自我學習

實驗要求可以參考deeplearning的tutorial, Exercise:Self-Taught Learning  。本實驗和上一個實驗一樣都是對手寫數字0-9的識別,區別在於上一個實驗直接把原始圖像的像素值作爲特徵輸入到sof

原创 UFLDL——Exercise: Softmax Regression (softmax迴歸)

實驗要求可以參考deeplearning的tutorial,Exercise:Softmax Regression    ,softmax迴歸的原理可以參照之前Logistic and Softmax Regression (邏輯迴歸和

原创 稀疏自動編碼(Sparse Autoencoder)

在之前的博文中,我總結了神經網絡的大致結構,以及算法的求解過程,其中我們提高神經網絡主要分爲監督型和非監督型,在這篇博文我總結下一種比較實用的非監督神經網絡——稀疏自編碼(Sparse Autoencoder)。 1.簡介 上圖是

原创 UFLDL——Exercise: Sparse Autoencoder 稀疏自動編碼

實驗要求可以參考deeplearning的tutorial,Exercise:Sparse Autoencoder。稀疏自動編碼的原理可以參照之前的博文,神經網絡, 稀疏自動編碼   。 1. 神經網絡結構: 實驗是實現三層的稀疏自動

原创 神經網絡(Neural Networks)

1.簡介 一般的迴歸和分類方式是基於線性模型,也就是固定的非線性的基函數(basis function)的線性組合,形式如下: 其中,如果f(.)是非線性的激活函數(activation function),這就是一個分類模型;如果f

原创 標度差值圖像

標度差值圖像主要應用在兩張圖像相減的時候,在實踐中,大多數圖像都是有8碼顯示,因此像素值在0到255之間,因此在差值圖像中,像素值的取值爲-255到255之間,因此在顯示這一結果時需要對圖像作標度。   方法一: 對每一個像素值再加上

原创 特徵值和特徵向量(Eigenvalues and Eigenvectors)

特徵值和特徵向量是矩陣的本質內容,在動態問題中發揮很重要的作用,本文講得矩陣默認爲方陣(square)。 1.幾何意義 現在我們從幾何的角度解釋說明是特徵值什麼是特徵向量。大多數的向量(x)乘上矩陣A時,即Ax,(下文中提到向量x乘上A就

原创 非極大抑制(Non-Maximum Suppression)

最近在看RCNN和微軟的SPP-net,其中涉及到Non-Maximum Suppression,論文中沒具體展開,我就研究下了代碼,這裏做一個簡單的總結,聽這個名字感覺是一個很高深的算法,其實很簡單,就是把找出score比較region

原创 Numpy 入門

轉至:my.oschina.net/lionets/blog/276574 Numpy 的核心內容是它的多維數組對象——ndarray(N-Dimensions Array),整個包幾乎都是圍繞這個對象展開。Numpy 本身並沒有提供多