原创 一文弄懂神經網絡中的反向傳播法——BackPropagation

  最近在看深度學習的東西,一開始看的吳恩達的UFLDL教程,有中文版就直接看了,後來發現有些地方總是不是很明確,又去看英文版,然後又找了些資料看,才發現,中文版的譯者在翻譯的時候會對省略的公式推導過程進行補充,但是補充的又是錯的,難怪

原创 決策樹與隨機森林

    首先,在瞭解樹模型之前,自然想到樹模型和線性模型有什麼區別呢?其中最重要的是,樹形模型是一個一個特徵進行處理,之前線性模型是所有特徵給予權重相加得到一個新的值。決策樹與邏輯迴歸的分類區別也在於此,邏輯迴歸是將所有特徵變換爲概率

原创 貝葉斯分類器

0、寫在前面的話       我個人一直很喜歡算法一類的東西,在我看來算法是人類智慧的精華,其中蘊含着無與倫比的美感。而每次將學過的算法應用到實際中,並解決了實際問題後,那種快感更是我在其它地方體會不到的。       一直想寫關於

原创 正則化方法:L1和L2 regularization、數據集擴增、dropout

正則化方法:防止過擬合,提高泛化能力 在訓練數據不夠多時,或者overtraining時,常常會導致overfitting(過擬合)。其直觀的表現如下圖所示,隨着訓練過程,網絡在training data上的error漸漸減小,但是在驗證

原创 簡單易學的機器學習算法——Softmax Regression

Contents  [hide] 1 簡介2 代價函數3 Softmax迴歸模型參數化的特點4 權重衰減5 Softmax迴歸與Logistic 迴歸的關係6 Softmax 迴歸 vs. k 個二元分類器7 中英文對照8 

原创 Hadoop之MapReduce

MapReduce基本概念及工作過程: http://www.cnblogs.com/edisonchou/p/4287784.html Shuffler過程 http://langyu.iteye.com/blog/992916 數據傾

原创 一文弄懂神經網絡中的反向傳播法——BackPropagation

  最近在看深度學習的東西,一開始看的吳恩達的UFLDL教程,有中文版就直接看了,後來發現有些地方總是不是很明確,又去看英文版,然後又找了些資料看,才發現,中文版的譯者在翻譯的時候會對省略的公式推導過程進行補充,但是補充的又是錯的,難怪

原创 貝葉斯分類器

0、寫在前面的話       我個人一直很喜歡算法一類的東西,在我看來算法是人類智慧的精華,其中蘊含着無與倫比的美感。而每次將學過的算法應用到實際中,並解決了實際問題後,那種快感更是我在其它地方體會不到的。       一直想寫關於

原创 決策樹

 算法原理 決策樹(Decision Tree)是一種簡單但是廣泛使用的分類器。通過訓練數據構建決策樹,可以高效的對未知的數據進行分類。決策數有兩大優點:1)決策樹模型可以讀性好,具有描述性,有助於人工分析;2)效率高,決策樹只需要

原创 決策樹與隨機森林

    首先,在瞭解樹模型之前,自然想到樹模型和線性模型有什麼區別呢?其中最重要的是,樹形模型是一個一個特徵進行處理,之前線性模型是所有特徵給予權重相加得到一個新的值。決策樹與邏輯迴歸的分類區別也在於此,邏輯迴歸是將所有特徵變換爲概率

原创 正則化方法:L1和L2 regularization、數據集擴增、dropout

正則化方法:防止過擬合,提高泛化能力 在訓練數據不夠多時,或者overtraining時,常常會導致overfitting(過擬合)。其直觀的表現如下圖所示,隨着訓練過程,網絡在training data上的error漸漸減小,但是在驗證

原创 進程與線程

進程與線程的理解: (1)調度:         在傳統的操作系統中,CPU調度和分派的基本單位是進程。而在引入線程的操作系統中,則把線程作爲CPU調度和分派的基本單位,進程則作爲資源擁有的基本單位,從而使傳統進程的兩個屬性分開,線程編程

原创 簡單易學的機器學習算法——Softmax Regression

Contents  [hide] 1 簡介2 代價函數3 Softmax迴歸模型參數化的特點4 權重衰減5 Softmax迴歸與Logistic 迴歸的關係6 Softmax 迴歸 vs. k 個二元分類器7 中英文對照8 

原创 Hadoop之MapReduce

MapReduce基本概念及工作過程: http://www.cnblogs.com/edisonchou/p/4287784.html Shuffler過程 http://langyu.iteye.com/blog/992916 數據傾

原创 一文弄懂神經網絡中的反向傳播法——BackPropagation

  最近在看深度學習的東西,一開始看的吳恩達的UFLDL教程,有中文版就直接看了,後來發現有些地方總是不是很明確,又去看英文版,然後又找了些資料看,才發現,中文版的譯者在翻譯的時候會對省略的公式推導過程進行補充,但是補充的又是錯的,難怪