原创 Neural Networks code

Marc'Aurelio Ranzato (Google)’s Neural Networks code. Deep Learning Methods fo Vision CVPR 2012 Tutorial  http://cs

原创 LaTeX使用技巧

 LaTeX使用技巧       使用LaTex的方法:      (1)推薦一個手寫公式、自動生成LaTex的網站——Web Equation.      (2)如果會LaTex,可以直接用在線LaTex編輯      (

原创 Gradient Boosting

1. 決策樹       應用最廣的分類算法之一,模型學習的結果是一棵決策樹,這棵決策樹可以被表示成多個if-else的規則。決策樹實際上是將空間用超平面進行劃分的一種方法,每次分割的時候,都將當前的空間一分爲二,比如說下面的決策樹:

原创 Boosting算法

一、Boosting算法的發展歷史   Boosting算法是一種把若干個分類器整合爲一個分類器的方法,在boosting算法產生之前,還出現過兩種比較重要的將多個分類器整合爲一個分類器的方法,即boostrapping方法和bagg

原创 聽課筆記(第五講): 學習的可行性分析(一些概念和思想) (臺灣國立大學機器學習基石)

2013-12-27 15:28:56 Training versus Testing1,回顧:學習的可行性?最重要的是公式:   (1) 假設空間H有限(M),且訓練數據足夠大,則可以保證測試錯誤率Eout 約等於

原创 高人對libsvm的經典總結

高人對libsvm的經典總結(全面至極)   2010-07-11 21:22:43|  分類: 代碼算法|舉報|字號 訂閱 http://www.ilovematlab.cn/viewthread.php?tid

原创 關於crossvalind函數

關於crossvalind函數  crossvalind是cross-valindation的縮寫,意即交叉檢驗。 常用的形式有:  ①Indices =crossvalind('Kfold', N, K)  ②[Train, Test

原创 Notes_on_MLIA_kNN

# k-nearest neighbor algorithm # function classify0 # arguments: # inX: the new observation which is to be labeled by

原创 聽課筆記(第六講): 歸納理論(臺大機器學習)

· 上一講重點是一些分析機器學習可行性的重要思想和概念,尤其是生長函數(growth function) 和突破點(break point) 的理解。這一講開篇再介紹一個界函數(bounding function)的概念:

原创 求僞逆的三種方法:直接,SVD,QR

求僞逆的三種方法:直接,SVD,QR - [專業理論] 版權聲明:轉載時請以超鏈接形式標明文章原始出處和作者信息及本聲明http://www.blogbus.com/shijuanfeng-logs/238839798.html

原创 Matlab中圖片保存的四種方法

Matlab中圖片保存的四種方法 matlab的繪圖和可視化能力是不用多說的,可以說在業內是家喻戶曉的。Matlab提供了豐富的繪圖函數,比如ez**系類的簡易繪圖函數,surf、mesh系類的數值繪圖函數等幾十個。另外其他專業工具

原创 聽課筆記(第九講): 線性迴歸 (臺大機器學習)

· 1, 線性迴歸問題 例如,信用卡額度預測問題:特徵是用戶的信息(年齡,性別,年薪,當前債務,...),我們要預測可以給該客戶多大的信用額度。 這樣的問題就是迴歸問題。 目標值y 是實數空間R。 線性迴歸假設:  

原创 聽課筆記(第四講):學習的可行性分析 (臺灣國立大學機器學習基石)

機器學習的可行性分析。一, 第一條準則: 沒有免費的午餐!(no free lunch !)給一堆數據D, 如果任何未知的f (即建立在數據D上的規則)都是有可能的,那麼從這裏做出有意義的推理是不可能的!! doomed

原创 聽課筆記(第七講): VC維理論 (臺大機器學習)

· 上一講的最後得到了VC bound,這一講對VC維理論進行理解,這是機器學習(最)重要的理論基礎。 我們先對前面得到的生長函數和VC bound 做一點小的修改。     1,VC 維的定義 VC De

原创 聽課筆記(第十一講): 線性分類模型 (臺大機器學習)

在上一講中,我們瞭解到線性迴歸和邏輯斯蒂迴歸一定程度上都可以用於線性二值分類,因爲它們對應的錯誤衡量(square error, cross-entropy) 都是“0/1 error” 的上界。1, 三個模型的比較1.1 分析Error