原创 Canonical Correlation Analysis(一)

http://blog.sina.com.cn/s/blog_a8fead9b01016jdm.html 典型相關分析(Canonical Correlation Analysis)是統計學習方法中一個經典算法,它和PCA,LDA等等矩陣

原创 層次聚類 Hierarchical Clustering

聚類系列: 聚類(序)----監督學習與無監督學習 聚類(1)----混合高斯模型 Gaussian Mixture Model 聚類(2)----層次聚類 Hierarchical Clustering 聚類(3)----

原创 混合高斯模型(Mixtures of Gaussians)和EM算法

這篇討論使用期望最大化算法(Expectation-Maximization)來進行密度估計(density estimation)。       與k-means一樣,給定的訓練樣本是,我們將隱含類別標籤用表示。與k-means的硬

原创 強大的矩陣奇異值分解(SVD)及其應用

前言:     上一次寫了關於PCA與LDA的文章,PCA的實現一般有兩種,一種是用特徵值分解去實現的,一種是用奇異值分解去實現的。在上篇文章中便是基於特徵值分解的一種解釋。特徵值和奇異值在大部分人的印象中,往往是停留在純粹的數學計算

原创 主成分分析(PCA)掃盲帖

http://rootofsky.diandian.com/ 先上定義,百度,wiki都說的很好,我就直接給鏈接了: 百度百科:主成分分析 wiki:PCA 下面主要講講它的原理和實現過程。 如果用一句話說:PCA就是屬性向量的正交化

原创 馬爾科夫隨機場和馬爾科夫鏈

1.什麼是隨機過程? 在當代科學與社會的廣闊天地裏,人們都可以看到一種叫作隨機過程的數學模型:從銀河亮度的起伏到星系空間的物質分佈、從分子的布朗運動到原子的蛻變過程,從化學反應動力學到電話通訊理論、從謠言的傳播到傳染病的流行、從市場預

原创 Gibbs sampling [Gibbs採樣]1

關於Gibbs sampling, 首先看一下Wiki上的解釋:Gibbs sampling or Gibbs sampler is an algorithm to generate a sequence of samples fro

原创 馬爾可夫網絡,(馬爾可夫隨機場、無向圖模型)(Markov Random Field)

馬爾可夫網絡,(馬爾可夫隨機場、無向圖模型)是關於一組有馬爾可夫性質隨機變量的全聯合概率分佈模型。      馬爾可夫網絡類似貝葉斯網絡用於表示依賴關係。但是,一方面它可以表示貝葉斯網絡無法表示的一些依賴關係,如循環依賴;另一方面,它不

原创 PGM學習筆記一

一 課程基本信息           本課程是由Prof.Daphne Koller主講,同時得到了Prof. Kevin Murphy的支持,在coursera上公開傳播。在本課程中,你將學習到PGM(Probabilistic

原创 PRML Chapter 2. Probability Distributions

PRML Chapter 2. Probability Distributions http://www.xperseverance.net/blogs/2012/03/21/ P68 conjugate priors  

原创 ASM(Active Shape Model)算法介紹

ASM是一種基於點分佈模型(Point Distribution Model, PDM)的算法。在PDM中,外形相似的物體,例如人臉、人手、心臟、肺部等的幾何形狀可以通過若干關鍵特徵點(landmarks)的座標依次串聯形成一個形狀向量

原创 【綜述】(MIT博士)林達華老師-“概率模型與計算機視覺

距上一次邀請中國科學院的樊彬老師爲我們撰寫圖像特徵描述符方面的綜述(http://www.sigvc.org/bbs/thread-165-1-1.html)之後,這次我們榮幸地邀請到美國麻省理工學院(MIT)博士林達華老師爲我們撰寫“概

原创 AP聚類算法

 Affinity Propagation (AP) 聚類是2007年在Science雜誌上提出的一種新的聚類算法。它根據N個數據點之間的相似度進行聚類,這些相似度可以是對稱的,即兩個數據點互相之間的相似度一樣(如歐氏距離);也可以是不

原创 Dirichlet Process and Hierarchical Dirichlet Process

Dirichlet Process and Hierarchical Dirichlet Process http://hi.baidu.com/zentopus/item/46a622f5ef13e4c5a835a28e

原创 Eigen初步1:初步體驗Eigen庫

Eigen初步1:初步體驗Eigen庫   http://www.cnblogs.com/tornadomeet    前言:   Eigen 是一個線性算術的C++模板庫,包括:vectors, matrices, 開源以及相關算法