原创 《統計學習方法》筆記七（3） 支持向量機——非線性支持向量機

本系列筆記內容參考來源爲李航《統計學習方法》核函數定義核技巧在支持向量機中的應用正定核函數K（x,z）滿足正定核時可作爲核函數。常用核函數非線性支持向量機學習算法

2018-12-17 09:50:04

原创 《統計學習方法》筆記七（1） 支持向量機——線性可分支持向量機

本系列筆記內容參考來源爲李航《統計學習方法》知識概要 線性可分支持向量機與硬間隔最大化支持向量機的學習是在特徵空間進行的。定義函數間隔與幾何間隔間隔最大化用函數間隔可改寫爲最大化1/||ω||和最小化1/2(||ω||)2等價，並取γ=1，

2018-12-12 14:50:15 4

原创 《統計學習方法》筆記五 決策樹

知識概要決策樹模型分類決策樹模型是一種描述對實例進行分類的樹形結構。決策樹由結點和有向邊組成。結點有兩種類型：內部結點和葉結點。內部結點表示一個特徵或屬性，葉結點表示一個類。決策樹與if-then規則可以把決策樹看成一個if-then規則的

2018-12-07 13:40:09

原创 《統計學習方法》筆記六（1） 邏輯斯諦迴歸

本系列筆記內容參考來源爲李航《統計學習方法》邏輯斯諦迴歸模型邏輯斯諦分佈二項邏輯斯諦迴歸模型從對數機率角度理解模型考察邏輯斯諦迴歸模型的特點，引入LR模型的定義：LR模型表達式爲參數化的邏輯斯諦函數，（默認μ=0，γ=1），即上式表示事件結

2018-12-07 11:09:59 1

原创 《統計學習方法》筆記六（2） 最大熵模型

本系列筆記內容參考來源爲李航《統計學習方法》知識概要最大熵原理認爲學習概率模型時，熵最大的模型是最好的模型。設離散隨機變量X的概率分佈是P(X)，則其熵是 最大熵模型定義首先考慮模型應滿足的條件，給定訓練數據集，可確定聯合分佈P（X,Y）的

2018-12-07 11:09:59

原创 《統計學習方法》筆記四 樸素貝葉斯法

樸素貝葉斯（navie Bayes）法是基於貝葉斯定理與特徵條件獨立假設的分類方法。對於給定的訓練數據集，首先基於特徵條件獨立假設學習輸入/輸出的聯合概率分佈；然後基於此模型，對給定的輸入x，利用貝葉斯定理求出後驗概率最大的輸出y。知識概要

2018-12-05 10:55:06

原创 [轉]深複製與淺複製

轉自文章  http://iaman.actor/blog/2016/04/17/copy-in-pythoncopy()與deepcopy()之間的主要區別是python對數據的存儲方式。 首先直接上結論： —–深複製，即將被複制對象完

2018-12-04 14:55:01

原创 《統計學習方法》筆記三 k近鄰法

k近鄰是一種基本分類與迴歸方法，書中只討論分類情況。輸入爲實例的特徵向量，輸出爲實例的類別。k值的選擇、距離度量及分類決策規則是k近鄰法的三個基本要素。k近鄰算法給定一個訓練數據集，對新的輸入實例，在訓練數據集中找到與該實例最鄰近的k個實例

2018-12-04 11:10:18

原创 《統計學習方法》筆記二 感知機

感知機（perceptron）是二分類的線性分類模型，輸入爲實例的特徵向量，輸出爲實例的類別，取±1。感知機對應與輸入空間中將實例劃分爲正負兩類的分離超平面，屬於判別模型。感知機學習旨在求出將訓練數據進行線性劃分的分離超平面，爲此，導入基於

2018-11-22 11:57:41

原创 《統計學習方法》筆記七（2） 支持向量機——線性支持向量機

本系列筆記內容參考來源爲李航《統計學習方法》線性不可分的通常情況是訓練數據中有一些特異點，將這些點去除後，剩下的大部分樣本點組成的結合是線性可分的。即某些樣本點不能滿足函數間隔≥1的約束條件，據此，對每個樣本點引入鬆弛變量，使函數間隔加上鬆

2018-11-21 18:37:28

原创 《統計學習方法》筆記一 統計學習方法概論

統計學習統計學習時關於計算機基於數據構建概率統計模型 並運用模型 對數據進行預測與分析。統計學習的三要素：方法 = 模型+策略+算法統計學習由監督學習、非監督學習、半監督學習和強化學習等組成。實現統計學習方法的具體步驟如下：（1）得到一個有

2018-10-11 16:03:13 1

原创 【數據結構(C語言版)系列四】 串

串類型的定義串（或字符串）是由零個或多個字符組成的有限序列，一般記爲 s = 'a1a2...an'，s爲串名。子串在主串中的位置以子串的第一個字符在主串中的位置來表示。串和表示和實現——定長順序存儲表示串的順序存儲方式即是在一個字符數組中

2018-10-11 09:48:14

原创 使用Ctex中遇到的一些問題

一般下載好Ctex，我是使用Latex+dvi2pdf完成編譯的，但是發現推薦的使用爲： 1）運行CCT & Latex命令生成兩次dvi和ps文件 2）使用dvi2pdf編譯dvi文件生成pdf文件注意要將圖片存成eps格式。話說排版心好

2018-10-10 10:53:08

原创 【數據結構(C語言版)系列二】 棧

棧和隊列是兩種重要的線性結構。從數據結構角度看，棧和隊列也是線性表，但它們是操作受限的線性表，因此，可稱爲限定性的數據結構。但從數據類型角度看，它們是和線性表大不相同的兩類重要的抽象數據類型。棧的定義棧（Stack） 是限定僅在表尾進行插入

2018-10-10 10:52:57 2

原创 [轉]Adaboost 算法的原理與推導

看了很多篇解釋關於Adaboost的博文，覺得這篇寫得很好，因此轉載來自己的博客中，以便學習和查閱。原文地址：《Adaboost 算法的原理與推導》，主要內容可分爲三塊，Adaboost介紹、實例以及公式推導。1 Adaboost的原理1.

2018-10-10 10:27:59 1