原创 CRF應用以及CRF++

主要內容 問題描述 模型訓練 樣本格式 模板文件 訓練參數 總結 之前我們簡單介紹了CRF的背景知識、基本原理、應用場景。接下來我們主要介紹通過CRF來解決實際問題的工具CRF++。CRF++是工業應用比較廣泛的條件隨機場的開源工具。

原创 條件隨機場(Conditional Random Field, CRF)

主要內容 背景知識 隱馬爾科夫模型 馬爾可夫隨機場 條件隨機場 條件隨機場的應用 一、背景知識 生成模型與判別模型。生成模型(Generative Model)對X和Y的聯合概率分佈建模,然後通過貝葉斯公式求得,最後選取使得最大的,即。判

原创 有向圖的最小費用最大流問題

有向圖的最小費用最大流問題 預備知識:最大流問題,增廣路算法。 問題說明:把物品從結點s(稱爲源點)運送至結點t(稱爲匯點),每條邊上有一個二元組(x,y),x表示邊的最大運送能力,y表示運送單位物品的花費。尋找總流量最大的前提

原创 樸素貝葉斯分類算法

樸素貝葉斯分類算法 主要內容 貝葉斯定理 樸素貝葉斯分類算法詳解 樸素貝葉斯分類算法實例講解 拉普拉斯平滑 1、貝葉斯定理   貝葉斯定理是關於隨機事件A和B的條件概率(或邊緣概率)的一則定理。已知某條件概率,如何得到兩個事件交

原创 PageRank算法詳解

PageRank算法詳解 主要內容 PageRank算法簡介 PageRank算法詳解 基本PageRank模型 終止點問題 陷阱問題 解決終止點問題和陷阱問題 1、PageRank算法簡介   PageRank,網頁排名,又

原创 k-means算法詳解

k-means算法詳解 主要內容 k-means算法簡介 k-means算法詳解 k-means算法優缺點分析 k-means算法改進算法k-means++ 1、k-means算法簡介   k-means算法是一種聚類算法,所謂

原创 AdaBoost(Adaptive Boosting)算法詳解

AdaBoost(Adaptive Boosting)算法詳解 主要內容 AdaBoost算法詳解 AdaBoost算法實例講解 1、AdaBoost算法詳解   假設有一位患者,存在某些症狀。患者選擇諮詢多位醫生,而不是一位。

原创 Apriori算法詳解

Apriori算法詳解 主要內容 關聯分析 Apriori算法原理 生成頻繁項集 生成關聯規則 FP-Growth算法   消費者在商店都買物品時,通過查看哪些商品經常在一起購買,可以幫助商店瞭解消費者的購買行爲。這種從數據海洋中

原创 EM算法(Expectation Maximization Algorithm)詳解

EM算法(Expectation Maximization Algorithm)詳解 主要內容 EM算法簡介 預備知識 極大似然估計 Jensen不等式 EM算法詳解 問題描述 EM算法推導 EM算法流程 EM算法優缺點以及應用

原创 支持向量機(Support Vector Machine,SVM)詳解

支持向量機(Support Vector Machine,SVM)詳解 主要內容 支持向量機簡介 數據線性可分的情況 間隔與支持向量 對偶問題 SMO算法 數據非線性可分的情況 1、支持向量機簡介   支持向量機(support

原创 決策樹之CART(分類迴歸樹)詳解

決策樹之CART(分類迴歸樹)詳解 主要內容 CART分類迴歸樹簡介 CART分類迴歸樹分裂屬性的選擇 CART分類迴歸樹的剪枝 1、CART分類迴歸樹簡介   CART分類迴歸樹是一種典型的二叉決策樹,可以做分類或者回歸。如果

原创 正則化(regularization): 期望風險、經驗風險、結構風險、L0範數、L1範數、L2範數

正則化(regularization): 期望風險、經驗風險、結構風險、L0範數、L1範數、L2範數 主要內容 期望風險、經驗風險、結構風險 正則項:L0範數、L1範數、L2範數 關於L1正則化與L2正則化的問題整理 一、期望風險

原创 隱馬爾可夫模型(Hidden Markov Model,HMM)

隱馬爾可夫模型(Hidden Markov Model,HMM) 主要內容 HMM簡介 HMM觀測序列、狀態序列、三要素 HMM三個問題及其對應算法 HMM應用 1、HMM簡介   隱馬爾可夫模型是可用於標註問題的統計學習模型,

原创 機器學習中常見的優化方法:梯度下降法、牛頓法擬牛頓法、共軛梯度法、拉格朗日乘數法

機器學習中常見的優化方法: 梯度下降法、牛頓法擬牛頓法、共軛梯度法、拉格朗日乘數法 主要內容 梯度下降法 牛頓法擬牛頓法 共軛梯度法 拉格朗日乘數法   許多機器學習算法,往往建立目標函數(損失函數+正則項),通過優化方法進行優化

原创 決策樹之ID3算法及其Python實現

決策樹之ID3算法及其Python實現 主要內容 決策樹背景知識 決策樹一般構建過程 ID3算法分裂屬性的選擇 ID3算法流程及其優缺點分析 ID3算法Python代碼實現 1. 決策樹背景知識   決策樹是數據挖掘中最重要且最