原创 第2章 感知機 - 對偶形式
感知機 - 對偶形式 對偶形式的基本思想： 將w和b表示爲樣本（書中術語爲實例）xix_ixi和標記和標記和標記yiy_iyi的線性組合形式，通過求解其係數而求得w和b 但變形之後的感知機就從參數學習算法變成了非參數學習算法。
2020-06-14 03:09:31
1
原创 2-1 感知機原始形式 學習策略的推導
策略是指按照什麼樣的準則學習或者選擇最優的模型。 感知機是判別模型，它通過學習得到一個超平面，這個超平面將樣本分爲正負兩類。 使用的策略爲：使誤分類的點到超平面的距離之和最小 令M爲誤分類的點的集合，則損失函數爲： L(w,b)=
2020-06-14 03:09:31
原创 2-4 梯度下降法的收斂證明
證明：經過有限次迭代，可以得到一個將線性可分的訓練數據集完全正確劃分的分離超平面及感知機模型 當訓練數據集線性不可分時，算法不收斂 假設前提： 所有訓練數據點都線性可分的 初值(w0,b0)=0⃗(w_0, b_0) = \ve
2020-06-14 03:09:31
原创 4-3 樸素貝葉斯 最大似然估計算法過程
樸素貝葉斯算法 輸入： 樣本數據T，包含m個n維特徵的樣本。 aij爲每個樣本特徵的第i個特徵可取到的第j個值。 測試樣本x 輸出： 對x的預測分類。 計算先驗概率 Pk(Y=Ck)=∑I(y=Ck)m P_k(Y=C_k) =
2020-06-14 03:09:31
原创 4-2 樸素貝葉斯 策略公式的推導
樸素貝葉斯模型使用0-1損失函數來選擇最優模型 0-1損失函數定義如下： L(Y,f(X))={1,Y=f(X)0,Y≠f(X) L(Y, f(X)) = \begin{cases} 1, && Y = f(X) \\ 0, &&
2020-06-14 03:09:31
原创 3-4 k近鄰算法 kd樹的原理與改進
構造 KD樹的構造過程實際上是用許多與座標軸平行的分割線按照一定規劃將一個空間劃分成多個子空間。 其中，每個分割線都經過一個樣本點，每個區域有一個樣本點。 將上圖這樣的劃分轉換成的kd樹是： 其中，圓形結點代表分割線上的樣本，
2020-06-14 03:09:21
原创 3-3 k近鄰算法 用kd樹的k近鄰搜索
算法：用kd樹的k近鄰搜索 輸出： 已構造的kd樹 目標點x 輸出： x的最近鄰 在kd樹中找出包含目標點x的葉結點：從根結點出發，遞歸地向下訪問kd樹。若目標點x當前維的座標小於切分點的座標，則移動到左子節點，否則移動到右子節點
2020-06-14 03:09:21
原创 5-4 決策樹 C4.5決策樹的生成算法
C4.5的生成算法 C4.5算法對ID3做了改進，使用信息增益比來選擇特徵 信息增益比計算公式： gR(D,A)=g(D,A)H(D) g_R(D, A) = \frac{g(D, A)}{H(D)} gR(D,A)=H(D)g
2020-06-14 03:09:21
原创 2-5 感知機 - 對偶形式 - 學習模型的推導
感知機對偶形式由感知機原始形式變化而來。 在原始形式中，感知機的模型爲： f(x)=sign(w⋅x+b)sign(x)={+1,x≥0−1,x<0(1) f(x) = sign(w \cdot x + b) \\ sign(
2020-06-14 03:09:21
原创 2-6 感知機 - 對偶形式 - 梯度下降法的算法過程
輸入： 訓練數據集T=(x1,y1),(x1,y1),⋯ ,(xn,yn)T={(x_1, y_1), (x_1, y_1), \cdots, (x_n, y_n)}T=(x1,y1),(x1,y1),⋯,(xn,yn
2020-06-14 03:09:21
原创 6-1 邏輯迴歸 二分類邏輯迴歸模型
二分類邏輯迴歸模型 binomail model 模型 P(Y=1∣x)=exp(w⋅x+b)1+exp(w⋅x+b)P(Y=0∣x)=11+exp(w⋅x+b) \begin{aligned} P(Y=1|x) = \fr
2020-04-25 14:43:03
2
原创 6-2 邏輯迴歸 多分類邏輯迴歸模型
多分類邏輯迴歸模型 假設Y的取值集合是1,2,⋯ ,K{1, 2, \cdots, K}1,2,⋯,K，則 P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk⋅x)P(Y=K)=11+∑k=1K−1exp(wk⋅
2020-04-25 14:43:03
1
原创 第6章 邏輯迴歸
邏輯迴歸 logistic regression 分類算法，屬於對數線性模型 logistic distribution 模型 二分類邏輯迴歸模型 binomail model 多分類邏輯迴歸模型multi-nomial mode
2020-04-25 14:43:03
1
原创 5-6 CART樹的生成
CART樹的生成算法 輸入： 訓練數據集X，樣本標籤y 輸出：迴歸樹f(x) 步驟 若D中所有實例屬於同一類CkC_kCk，則T爲單結點樹，並將類CkC_kCk作爲該結點的類標記，返回T 對每個特徵feature的每個取值v
2020-04-21 09:08:55
原创 入坑ML/DL半年血淚史
從去年國慶開始決定入坑ML/DL，到現在大約半年，其中學習ML4個月有餘，學習DL接近2個月。 已寫gitbook 8本，4本基礎理論筆記，2本編程筆記，2本個人總結。 作爲一個要兼顧工作與帶娃的職場媽媽，半年時間有這樣的結果實屬
2020-04-21 09:08:55