原创 機器學習練習之k均值

       k-means屬於聚類分析的其中一種算法,聚類分析在機器學習、數據挖掘、模式識別、決策支持和圖像分割中有廣泛的應用。聚類是無監督的分類方法,所謂無監督就是沒有給定訓練數據的標籤信息,所以聚類出來的結果的類別是未定義的,而分類

原创 重溫二叉搜索樹

       二叉搜索樹又名爲二叉查找樹、有序二叉樹、查找二叉樹,是一種很重要的基礎性數據結構,支持多種動態集合操作,包括插入、刪除、查找等操作。二叉樹的優勢在於查找、插入的時間複雜度較低,爲O(lg n),不過如果數據不好,最壞的時間複

原创 Self-Taught Learning

      自編碼器是一個三層的feed-forward神經網絡模型,輸入層經過隱含層的特徵表示後再重構出跟輸入層逼近的輸出層,中間的隱含層是特徵表示層,表示對輸入層學習到的特徵,這些特徵可能更好地表示了數據,如果用學到的特徵來訓練數據分

原创 PCA與Whitening

一、PCA      PCA即主成分分析(Principle Components Analysis),是統計機器學習、數據挖掘中對數據進行預處理的常用的一種方法。PCA的作用有2個,一個是數據降維,一個是數據的可視化。在實際應用數據中,

原创 leetcode-Recover Binary Search Tree

Two elements of a binary search tree (BST) are swapped by mistake. Recover the tree without changing its structure. N

原创 談談信息熵--信息的度量

           信息是一個抽象的概念,很難給信息下一個定義。我們常常說信息的多少,這個多少卻很難度量。比如我們說一部中文字典到底有多少信息量,一本50多萬字的《史記》又有多少信息量。究竟信息背後有沒有理論基礎呢?在香農信息論誕生以前

原创 機器學習練習之樸素貝葉斯

     練習來自http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex6/ex6.htm

原创 leetcode-Interleaving String

Given s1, s2, s3, find whether s3 is formed by the interleaving of s1 and s2. For example, Given:s1 = "aabcc",s2 = "d

原创 Stacked Autoencoders

           博文內容參照網頁Stacked Autoencoders,Stacked Autocoders是棧式的自編碼器(參考網頁Autoencoder and Sparsity和博文自編碼與稀疏性),就是多層的自編碼器,把

原创 自編碼算法與稀疏性

前言 看完神經網絡及BP算法介紹後,這裏做一個小實驗,內容是來自斯坦福UFLDL教程,實現圖像的壓縮表示,模型是用神經網絡模型,訓練方法是BP後向傳播算法。 理論        在有監督學習中,訓練樣本是具有標籤的,一般神經網絡是有監督的

原创 Linear Decoders

        博文參考standford UFLDL網頁教程線性解碼器。 1、線性解碼器                      前面說過的稀疏自編碼器是一個三層的feed-forward神經網絡結構,包含輸入層、隱含層和輸出層,隱

原创 Softmax Regression練習

    在上篇博文(http://blog.csdn.net/freeliao/article/details/19424565)介紹了Softmax Regression的模型,現在來做下該模型在MNIST數據集上的識別練習(http:

原创 機器學習練習之線性迴歸

       還是要打牢基礎吧,再做做機器學習最基本的方法和技術。這個練習是線性迴歸,來自Andrew Ng的 機器學習課程http://openclassroom.stanford.edu/MainFolder/DocumentPage

原创 機器學習練習之多變量線性迴歸

      在做完上一篇只有一個變量的線性迴歸後,這裏繼續完成多元線性迴歸模型的練習:http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=Machine

原创 機器學習練習之正則化

        這個練習是來自http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex5/e