原创 knn算法以及算法實現
1. knn算法 定義：對於輸入變量x，尋找數據集中距離x最近的k個實例，這k個實例中哪個類的數量最多，就認爲輸入變量x屬於該類。 2.距離度量 對於knn算法，我們一般選擇歐式距離作爲距離度量，當然，對於不同的問題，可能會有不同
2020-06-23 13:11:55
1
原创 感知機算法及實現
感知機算法 定義1：假設輸入空間是χ⊆Rn\chi \subseteq R^{n}χ⊆Rn,輸出空間爲γ\gammaγ={+1,-1}.輸入x∈χ\in \chi∈χ表示實例的特徵向量，對應於輸入空間的點；輸出y∈γy\in \g
2020-06-23 13:11:55
原创 統計學習第一章習題
1.1通過極大似然估計或貝葉斯估計來估計結果爲1的概率 解： 極大似然估計： 對於伯努利模型，假設P(x=1)=θP(x=1)=θ ,於是我們可以得到它的條件分佈爲P(x|θ)=θx(1−θ)1−xP(x|θ)=θx(1−θ)1−x
2018-08-30 13:49:14
原创 樸素貝葉斯
1.樸素貝葉斯 注：樸素貝葉斯和貝葉斯法不是同一個概念 樸素貝葉斯法是基於樸素貝葉斯定理和條件獨立性假設的方法。對於給定數據集，先基於特徵條件獨立假設學習輸入/輸出的聯合分佈。然後基於這個模型，求出給定的輸入x的後驗概率最大的輸出y。 定
2018-08-30 13:49:09
原创 M次多項式擬合
M次多項式擬合問題實際就是一個最小二乘法的問題，作者在《統計學習方法》中並沒有給出具體的推導公式，下文給出具體的推導公式。 設M次多項式爲 fM(xI,w)=w0+w1xi+w2x2i+⋯+wMxMi=∑j=0Mwjxj=XTiwfM(
2018-08-30 13:49:07
原创 感知機算法
感知機算法 定義1：假設輸入空間是χ⊆Rnχ⊆Rn ,輸出空間爲γγ ={+1,-1}.輸入x∈χ∈χ 表示實例的特徵向量，對應於輸入空間的點；輸出y∈γy∈γ 表示實例的類別。由輸入空間到輸出空間的如下函數f(x)=sign(wx+b)
2018-08-30 13:49:05
2
原创 knn算法
1. knn算法 定義：對於輸入變量x，尋找數據集中距離x最近的k個實例，這k個實例中哪個類的數量最多，就認爲輸入變量x屬於該類。 2.距離度量 對於knn算法，我們一般選擇歐式距離作爲距離度量，當然，對於不同的問題，可能會有不同的選擇。
2018-08-30 13:49:05
1