原创 knn算法原理與實現（2）kd樹算法原理和python實現

一、kd樹算法分爲兩步，第一步是構建平衡kd樹，第二部是搜索預測數據的最近鄰 二、構建kd樹 輸入：k維空間數據集T = {},其中 = {},特徵維度k，訓練樣本數維n 輸出：kd樹 從第1個特徵到第k個特徵，每次選擇一個特徵，找出該特

2020-06-16 08:14:22

原创 支持向量機原理與實現

一、模型 機器學習中我們最開始接觸的都是感知機，感知機就是一個階躍函數，階躍函數的自變量是一個多元線性函數，cost function則是。而支持向量與感知機類似，只是將階躍函數挖去（-1到1這個區間），要使兩個平行的超平面間間隔最大，只

2019-03-15 20:05:20

原创 樸素貝葉斯算法原理與實現

一、模型 我們要求的最終結果是使 P(|X=x)最大的值，而依據貝葉斯定理可知： 以上公式中x爲，待遇測的樣本，c爲具體的分類標籤，由最後的等式可知分母不會發生變化，要求 argminP(|X=x)，即求argminP(X=x|Y=|)

2018-11-20 08:51:49

原创 決策樹（一）ID3和C4.5算法原理與實現

一、預備知識 1、信息熵 H(p) = (可以從，信息量相加就是獨立隨機事件相乘來理解，所以需要取對數），熵entropy這個詞本身代表不確定性的意思，而不確定性越大，信息量則越大。 2、條件熵 H(D|A)=,pi表示某一子集佔統計量的

2018-11-20 08:51:49

原创 感知機算法原理及其python實現

感知機算法是機器學習算法中最簡單的算法，下面我將從感知機算法原理和算法實現兩個方面描述我的一些學習經驗，歡迎批評指正和交流。 一.感知機模型 感知機模型很簡單，由以下公式描述： 這裏對sign(x)這個函數解釋下，當x>=0 sign(

2018-11-07 08:30:57

原创 knn算法原理與實現（1）

一、算法原理與模型 knn算法即最近鄰算法，其原理非常簡單即根據給定的數據集，計算數據集中點的特徵到待分類數據的歐氏距離，然後選擇距離最近的k個作爲判斷依據，這k個數據中出現類別最多的作爲新輸入數據的label。模型用公式表示如下： 二

2018-11-07 08:30:57 1

原创 爲什麼梯度負方向的損失函數下降速度是最快

這一問題，網上有很多種解釋，今天我主要從數學分析的角度來說一下我的看法。 一、什麼是梯度 根據高等數學中梯度的定義可知梯度一個向量由函數對各個變量的偏導數組成。例如二維函數梯度是,同理三維函數梯度爲 二、方向導數 高數中過點,以爲l爲方向

2018-11-07 08:30:57