原创 Machine Learning Series No.8 -- CRF(Conditional Random field)

條件隨機場 判別模型 常用場景:詞性標註。CRF可以考慮相鄰數據的標記信息。 概率圖模型 概率圖模型(Probabilistic graphical model,PGM)是由圖表示的概率分佈。 概率無向圖模型 概率無向圖模型

原创 Machine Learning Series No.7 -- Max Entropy

最大熵模型 1.它是一個判別模型,最終目的是爲了建模p(y|x)p(y|x) 。 2.原理 認爲學習模型時,認爲條件熵最大的模型是最好的模型。 其原理可由以下博客說明,其隱含的意思是指最好的模型是在滿足已有約束的條件下,不做任何主

原创 Machine Learning Series No.9 -- HMM(Hidden Markov Model)

隱馬爾科夫模型(Hidden Markov Model, HMM) 1.生成模型,對p(x,y)p(x,y) 進行建模 2.符號說明 SYMBOLS meanings Q{q1,q2,⋯,qn}Q{q1,q2,⋯,qn

原创 Machine Learning Series No.7 -- HMM(Hidden Markov Model)

隱馬爾科夫模型(Hidden Markov Model, HMM) 1.生成模型,對p(x,y)p(x,y) 進行建模 2.符號說明 SYMBOLS meanings Q{q1,q2,⋯,qn}Q{q1,q2,⋯,qn} 可能

原创 Machine Learning Series No.6 -- HMM(Hidden Markov Model)

隱馬爾科夫模型(Hidden Markov Model, HMM) 1.生成模型,對p(x,y)p(x,y) 進行建模 2.符號說明 SYMBOLS meanings Q{q1,q2,⋯,qn}Q{q1,q2,⋯,qn} 可能

原创 Machine Learning Series No.10 -- PCA

PCA算法 PCA算法是一種降維算法,其主要思想有兩種: 1.使得降維以後的超平面離原始的樣本點儘可能的近。 2.使得樣本點在降維以後的超平面的投影儘可能的分開。 注意:PCA減少基底的數目,從而減少數據維度。 座標系的變換 設新座標系

原创 [總結]ROC曲線、AUC、準確度、召回率

ROC曲線、AUC、準確度、召回率… 混淆矩陣 Label : 1 Label : 0 Estimation: 1 TP(True Positive) Estimation: 0 FN(False Negative)

原创 Machine Learning Series No.8 -- Max Entropy

最大熵模型 1.它是一個判別模型,最終目的是爲了建模p(y|x)p(y|x) 。 2.原理 認爲學習模型時,認爲條件熵最大的模型是最好的模型。 其原理可由以下博客說明,其隱含的意思是指最好的模型是在滿足已有約束的條件下,不做任何主觀臆測的

原创 Machine Learning Series No.9 -- CRF(Conditional Random field)

條件隨機場 判別模型 常用場景:詞性標註。CRF可以考慮相鄰數據的標記信息。 概率圖模型 概率圖模型(Probabilistic graphical model,PGM)是由圖表示的概率分佈。 概率無向圖模型 概率無向圖模型(Pro

原创 Machine Learning Series No.6 -- EM algorithm

EM算法 1.直觀理解 通俗理解:https://blog.csdn.net/v_JULY_v/article/details/81708386 通俗的理解看出就是EM算法由於不知道隱變量的分佈,先給出參數的隨機初始值,然後根據參數,去得

原创 Machine Learning Series No.2 --Logistic Regression

前言 每次上吳恩達老師的機器學習課,總是能帶給我一些不同的東西(恩,換句話說,也就是我之前都學的啥??)。這次終於開始寫邏輯迴歸了,邏輯迴歸真的是一個非常了不起的算法,恩,學到後來你會發現,誒,怎麼哪裏都有它? 這裏首先向強調的一點是,

原创 Machine Learning Series No.4 -- Decision Trees

決策樹 決策樹的總結可以劃分爲以下兩個問題: 1.結點如何分裂? 2.如何剪枝? 剪枝有多重策略,常用的是代價複雜度剪枝(Cost complexity pruning),又叫最弱連接剪枝(weakest link pruning)。

原创 分類,迴歸算法區分點

前言 參照博客,覺得寫得挺好的。這裏是爲了讓自己更清楚而寫,也是自己在學的時候會比較凌亂的點。 在之前的文章中,寫了線性迴歸。熟悉機器學習的人,可能一眼看上去會發現,誒,這個東西不就是很像感知器嗎,中間迴歸的那條線就相當於是一個超平面,

原创 Machine Learning Series No.1 --Linear Regression

前言 最近看了李航老師的《統計學習方法》,還正在學習吳恩達老師的《機器學習》的課程(網易公開課上有,較老的版本)。自從看過《統計學習方法》之後,發現筆記不看其實學習效果並不好。因此想以電子版格式寫下來記錄,一方面加深自己的印象,一方面也是