原创 機器學習（迴歸六）——邏輯迴歸
邏輯迴歸本質是分類問題，而且是二分類問題，不屬於迴歸，爲何把邏輯迴歸放到迴歸系統博客中呢？我們可以這樣理解，邏輯迴歸就是用迴歸的辦法來做分類。它是在線性迴歸的基礎上，通過Sigmoid函數進行了非線性轉換，從而具有更強的擬合能力。
2020-06-30 18:03:48
原创 機器學習（迴歸八）——Softmax迴歸
前面博客說的是logistic邏輯迴歸，這篇博客則是Softmax迴歸，可以說Softmax迴歸是logistic迴歸的一般化（因爲logistic是二分類的），適用於K分類的問題。Softmax函數的本質就是將一個K維的任意實數
2020-06-30 17:02:03
原创 機器學習（迴歸十）——階段性總結
現在對迴歸做一下階段性總結。迴歸算法，總的來說就是這些，當然還有一些變種，基本上逃不過線性迴歸和邏輯迴歸這兩種。其實迴歸家族中還有比較有名的樹迴歸，這裏就先不介紹，因爲會涉及決策樹相關的內容，所以後面講到決策樹時再做介紹。（其實內
2020-06-30 17:02:03
原创 機器學習（迴歸二）——線性迴歸-最小二乘-代碼實現
本篇內容本來想在寫在上篇博客中的，那樣篇幅過長，就單獨提出來了。 文章目錄一、使用scikit-learnAPI功能代碼二、自己實現 機器學習中經常用到scikit-learn，他是一個建立在Scipy基礎上的用於機器學習的Pyt
2020-06-30 17:02:03
原创 機器學習（迴歸一）——線性迴歸-最小二乘
文章目錄什麼是迴歸（及線性迴歸）概念舉例最小二乘法公式推導誤差似然函數對數似然目標函數求解 θ\thetaθ參數解析式優化總結補充式子（7）的推導矩陣求導式子（10）式的推導最小二乘法 從這篇博客開始將介紹機器學習中的比較重要的內
2020-06-30 17:01:51
原创 機器學習（聚類十一）——不同聚類算法在不同數據分佈情況下的聚類效果
至此聚類相關的內容告一段落，前面十篇博客介紹了常見的幾種聚類算法，也加入了一些代碼實現。這篇博客來一個彙總的實例，分別創建圓形數據、月牙形數據、聚團數據以及隨機數據，並測試不同數據在各種不同聚類算法中的聚類效果以及消耗時間。 im
2020-06-30 17:01:51
原创 機器學習（聚類五）——聚類算法的衡量指標
算法的好壞，都要有相應的指標來衡量。尤其聚類的特殊性，也有一些特殊的算法。 衡量指標 這裏介紹7種能夠用於不同場景下聚類算法的衡量指標： 混淆矩陣 均一性 整性 V-measure 調整蘭德係數(ARI) 調整互信息(AMI)
2020-06-30 17:01:51
原创 機器學習（聚類二）——K-Means
K-means算法，也稱爲K-平均或者K-均值，是一種使用廣泛的最基礎的聚類算法，一般作爲掌握聚類算法的第一個算法。 思路 通過名字，大概就猜出這個算法的意思：K表示要分成K個類，而分類的手段是通過均值實現的。 假設輸入樣本爲 T
2020-06-30 17:01:51
原创 機器學習（迴歸九）——SoftMax迴歸-代碼實現
上篇博客說的是SoftMax迴歸的基本內容，包括公式推導。這篇博客基於葡萄酒數據進行葡萄酒質量預測模型構建，使用Softmax算法構建模型，並獲取Softmax算法構建的模型效果(注意：分成11類) 數據 數據來源：Wine Qu
2020-06-30 17:01:51
原创 機器學習（優化算法三）——座標軸下降
概述 Lasso迴歸採用的是座標軸下降法(Coordinate Descent， CD)是一種迭代法，通過啓發式的方法一步步的迭代求解函數的最小值，和梯度下降法(GD)不同的是，座標軸下降法是沿着座標軸的方向去下降，而不是採用梯度
2020-06-30 17:01:47
原创 機器學習（迴歸三）——線性迴歸-多項式擴展
文章目錄概述代碼分析總結 概述 前兩篇博客介紹的是線性迴歸，線性迴歸的一個問題是有可能出現欠擬合現象，因爲它求的是具有最小均方誤差的無偏估計。顯而易見，如果模型欠擬合將不能取得最好的預測效果。所以有些方法允許在估計中引入一些偏差，
2020-06-30 17:01:47
原创 機器學習（迴歸四）——線性迴歸-正則化
上篇博客是針對普通線性迴歸往往存在欠擬合的情況，採用多項式擴展的方式，從而映射到多維空間來擬合。多項式擴展的時候，如果指定的階數比較大，那麼有可能導致過擬合。也就是模型太契合訓練數據了。數據上表現就是參數過多、過大。過擬合在實際機
2020-06-30 17:01:47
原创 機器學習（優化算法一）——梯度下降
對於機器學習，經常提及的就是批量梯度下降、隨機梯度下降，以及兩者結合的小批量梯度下降。在深度學習中，常用的還有梯度下降的一些變種，像Adam、AdaGrad……這裏只說最基本的三種。 簡要過程 像普通線性迴歸、Ridge迴歸，通過
2020-06-30 17:01:47
原创 機器學習（聚類十）——譜聚類及代碼實現
譜聚類是基於譜圖理論基礎上的一種聚類方法，與傳統的聚類方法相比：具有在任意形狀的樣本空間上聚類並且收斂於全局最優解的優點。（但效率不高，實際工作中用的比較少） 譜聚類 通過對樣本數據的拉普拉斯矩陣的特徵向量進行聚類，從而達到對樣本
2020-06-30 17:01:45
原创 機器學習（補充）——模型判斷、交叉驗證
模型判斷機器學習調參——交叉驗證 這裏對一些零碎的知識點進行補充，由於內容比較少，不再做詳細的介紹。 模型判斷 MSE=1m∑i=1m(yi−yi^)2 MSE = \frac{1}{m} \sum_{i=1}^m (y_i -
2020-06-30 17:01:45