原创 【機器學習】線性迴歸原理推導與算法描述
該文已經收錄到專題機器學習進階之路當中，歡迎大家關注。 1. 概念 線性迴歸（Linear Regression）是一種通過屬性的線性組合來進行預測的線性模型，其目的是找到一條直線或者一個平面或者更高維的超平面，使得預測值與真實值之間的誤
2020-06-02 21:57:15
原创 【機器學習】邏輯斯蒂迴歸原理推導與求解
1.概念 邏輯斯蒂迴歸又稱爲“對數機率迴歸”，雖然名字有迴歸，但是實際上卻是一種經典的分類方法，其主要思想是：根據現有數據對分類邊界線（Decision Boundary）建立迴歸公式，以此進行分類。 2.特點 1. 優點：計算代價不高，
2020-06-02 21:57:15
原创 【機器學習】LP距離、歐式距離、曼哈頓距離、切比雪夫距離
其他機器學習系列文章見於專題：機器學習進階之路——學習筆記整理，歡迎大家關注。 設特徵空間χ\chiχ是nnn維實數向量空間RnR^nRn，xi,xj∈χ{x_i},{x_j} \in \chixi,xj∈χ，xi=(xi
2020-06-02 21:57:15
4
原创 【機器學習】Bagging與隨機森林原理與算法描述
1.Bagging原理 在介紹Bagging之前，我們首先介紹下自助採樣法（Bootstrap sampling）。 自助採樣法的原理如下：對給定個樣本的數據集，進行次隨機有放回採樣，得到含個樣本的採樣集，初始訓練集中約有63.2％的樣本
2020-06-02 21:57:15
1
原创 【機器學習】深入剖析梯度提升決策樹(GBDT)分類與迴歸
1. 梯度提升決策樹概述 梯度提升決策樹（Gradient Boosting Decision Tree，GBDT）是以決策樹爲基學習器的一種Boosting算法，它在每一輪迭代中建立一個決策樹，使當前模型的殘差在梯度方向上減少；然後將該
2020-06-02 21:57:15
4
原创 【機器學習】多項邏輯斯蒂迴歸/softmax迴歸推導與求解
1. 多項邏輯斯蒂迴歸模型 多項邏輯斯蒂迴歸模型（multi-nominal logistic regression model），又稱爲Softmax Regression，是一個用來預測離散型隨機變量的不同可能結果的概率的模型，用於進
2020-06-02 21:57:15
原创 【機器學習】決策樹詳解之分類與迴歸樹（CART）
版權聲明：本文爲博主原創文章，未經博主允許不得轉載https://blog.csdn.net/pxhdky/article/details/84203421 在上一篇博客【機器學習】決策樹詳解（ID3、C4.5）中，我們詳細描述了決策樹的
2020-06-02 21:57:15
原创 專題：機器學習進階之路——學習筆記整理
現將自己機器學習方面的學習筆記整理如下，後續還會繼續更新： 機器學習基本概念 監督學習、非監督學習、批量學習、在線學習、基於實例學習、基於模型學習 經驗風險最小化與結構風險最小化 模型評估與選擇（留出法、交叉驗證法、查全率、查準
2020-06-02 21:57:15
原创 【機器學習】經驗風險最小化與結構風險最小化
1. 損失函數和風險函數 損失函數度量模型一次預測的好壞，風險函數度量平均意義下模型預測的好壞。 常用的損失函數有以下幾種： （1）0-1損失函數（0-1 loss function）
2020-06-02 21:57:15
1
原创 【機器學習】最優化方法：梯度下降法
1. 概念 梯度下降法（Gradient Descent）又稱最速下降法（Steepest descent）是一種常用的一階優化方法，是一種用於求解無約束最優化問題的最常用的方法。它選取適當的初始值，並不斷向負梯度方向迭代更新，實現目標函
2020-06-02 21:57:15
8
原创 【機器學習】監督學習、非監督學習、批量學習、在線學習、基於實例學習、基於模型學習
其他機器學習系列文章見於專題：機器學習進階之路——學習筆記整理，歡迎大家關注。 機器學習可根據如下規則進行分類： 是否在人類監督下進行訓練（監督學習/非監督學習/半監督學習/強化學習）; 是否可以動態漸進學習（批量學習/在線學習
2020-06-02 21:57:15
1
原创 【機器學習】Boosting與AdaBoost分類與迴歸原理詳解與公式推導
1.Boosting Boosting族算法的工作機制爲：先從初始訓練集中訓練出一個基學習器，再根據基學習器的表現對訓練樣本分佈進行調整，然後基於調整後的樣本分佈來訓練下一個基學習器；重複進行，直到基學習器數目達到事先指定的值；最終將所有
2020-06-02 21:57:15
2
原创 【機器學習】特徵選擇（過濾式、包裹式、嵌入式）
其他機器學習系列文章見於專題：機器學習進階之路——學習筆記整理，歡迎大家關注。 1. 前言 從給定的特徵集合中選擇出相關特徵子集的過程，稱爲“特徵選擇”。特徵選擇是一個重要的數據預處理過程，進行特徵選擇的原因如下： 減少特
2020-06-02 21:57:15
原创 【機器學習】支持向量機原理與序列最小最優化算法SMO
其他機器學習系列文章見於專題：機器學習進階之路——學習筆記整理，歡迎大家關注。 1. 支持向量機 支持向量機主要內容包含：線性可分支持向量機與硬間隔最大化、線性支持向量機與軟間隔最大化、非線性支持向量機與核函數、序列最小最優化算法
2019-02-25 13:20:10
原创 【機器學習】神經網絡詳解
其他機器學習系列文章見於專題：機器學習進階之路——學習筆記整理，歡迎大家關注。 1. 從感知機到神經網絡 在上一篇博客【機器學習】感知機原理詳解當中，我們介紹了感知機，這是一種二分類的線性分類模型，只有輸出層神經元進行激活函數處理
2019-02-22 00:40:06