原创 ID3決策樹python程序實現

算法原理 決策樹是一類經典的機器學習方法,既可以用於分類任務,也可以用於迴歸。分類和迴歸對應的分別是分類樹和迴歸樹,本文將以最常見的一類決策樹——ID3分類樹爲例,講解模型的原理以及程序實現。 模型 已知一組有n個樣本的訓練集 {

原创 kmeans聚類算法實現

算法原理 模型 已知一組有n個樣本的數據集 {xi}i=1n,xi∈Rt \{x_i\}_ {i=1}^n,x_i\in\mathbb R^t {xi​}i=1n​,xi​∈Rt 其中,每個樣本xix_ixi​都有ttt個特徵,沒

原创 k近鄰算法程序實現

算法原理 模型 k近鄰算法是一個多分類的機器學習算法。它的實現過程很容易理解,簡單來說,就是通過計算待分類樣本與所有訓練樣本的“距離”,然後取出離待分類樣本最近的k個訓練樣本,最後將這k個訓練樣本中類別最多的一種作爲該待分類樣

原创 Koch曲線的matlab程序實現

Koch曲線是一個典型的“數學怪物”,它的特點是處處連續但點點不可微。下面將講解Koch曲線的形成原理及matlab程序實現(對空間上的任意兩個點,畫出它們的Koch曲線) 形成過程 對於二維空間上的任意一條線段,將該線段的兩個端

原创 邏輯迴歸算法實現

算法原理 模型 邏輯迴歸模型是一個二分類的對數線性模型。令樣本數據集爲 {xi;yi}i=1n,xi∈Rt,yi∈{0,1} \{x_i;y_i\}^n_{i=1},x_i\in\mathbb{R}^t,y_i\in\{0,1

原创 感知機算法原理及程序實現

感知機是一個二分類的線性模型,通過輸入樣本的特徵,返回樣本對應的類別,其中,類別限定爲1和-1。模型如下。(偏置已併入ω\omegaω) f(x)=sign(ωT∗x) f(x)=sign(\omega^T*x) f(x)=sig

原创 多元線性迴歸編程實現

多元線性迴歸: 現有一個包含m個樣本的數據集,其中每一個樣本都有n個指標值和一個標籤值,現試圖尋找一種線性關係(加法或數乘運算),使得每個樣本的n個指標值都能對應各自的標籤值。此時這n個指標值和對應的標籤值都已給出,我們需要考

原创 線性最小二乘法——python

算法編寫 class LinearRegression: ''' alpha:擬合參數 fit :訓練函數,得到擬合參數 predict:預測並輸出結果 '''

原创 python面向對象的三大特性:封裝、繼承、多態

python面向對象的三大特性:封裝、繼承、多態 封裝是指它能通過創建一個類,並將若干個屬性和方法包裝在這個類中,程序員只需創建這個類的一個對象便可以調用這些屬性和方法。 # 定義一個類 class Person(): d