原创 GBDT資源收集
https://www.cnblogs.com/pinard/p/6140514.html https://www.cnblogs.com/ModifyRong/p/7744987.html https://blog.csdn.net/w
2020-06-24 01:20:18
原创 機器學習基礎——分類問題評價指標
1 .準確率（A），查準率(P)，查全率(R) 設正樣本總數 T = TP + FN, 負樣本總數 F = FP + TN 定義各種指標如下： 2 .P-R曲線 原理：很多二分類器的輸出是一個概率實值，我們將這個概率值與一個閾值
2020-06-24 01:20:18
原创 集成學習3——stack
本博客僅用於只是記錄，方便自己學習，有錯誤之處歡迎指正 若有雷同請聯繫我 stack 訓練好了N個分類器，將N個分類器輸出c1....ck作爲輸入，放到一個新的訓練器當中去訓練最終得到結果，h1....hk爲不同的權重 圖片來自於清
2020-06-24 01:20:18
原创 XgBoost
GBDT與XGBoost boosting(包括GBDT、XGBoost)是一個加法模型，有以下優缺點： 優點： • 可解釋性強 • 可處理混合類型特徵 • 具體伸縮不變性（不用歸一化特徵） • 有特徵組合的作
2020-06-24 01:20:18
2
原创 機器學習基礎——生成模型和判別模型
有監督學習方法可以再分爲生成生成方法和判別方法 1.首先官方點的說法 生成模型，是去求出數據的聯合概率分佈，然後根據聯合概率分佈求出對應X的條件概率 P(y∣x)=P(x,y)P(x)P(y|x) = \frac{P(x,y)}{
2020-06-24 01:20:18
原创 html input 只能輸入數字 只能輸入字母數字組合的正則表達式
轉載自：https://blog.csdn.net/cao18995783056/article/details/52678532 只能輸入中文 <input type="text" οnkeyup="this.value=
2020-06-08 09:39:16
原创 貝葉斯理論，樸素貝葉斯算法
貝葉斯原理是英國數學家托馬斯·貝葉斯提出的。貝葉斯是個很神奇的人，他的經歷類似梵高。生前沒有得到重視，死後，他寫的一篇關於歸納推理的論文被朋友翻了出來，並發表了。這一發表不要緊，結果這篇論文的思想直接影響了接下來兩個多
2020-04-22 15:53:08
原创 常用損失函數，代價函數
引用及參考： [1] https://blog.csdn.net/reallocing1/article/details/56292877 [2] https://blog.csdn.net/m_buddy/article/
2020-04-21 15:55:17
原创 機器學習——梯度消失，梯度爆炸
原因 梯度消失：1.深層網絡，2.不合適的激活函數 梯度爆炸：1.深層網絡，2.權值初始化太大 對於神經網絡的更新，我們是採用反向傳播（BP），用梯度下降策略對神經網絡進行參數更新。 根據鏈式法則求導，越靠近輸入層的隱藏層導數乘的次數就越
2020-04-21 15:55:17
原创 maxout學習
一、相關理論 本篇博文主要講解2013年，ICML上的一篇文獻：《Maxout Networks》，這個算法我目前也很少用到，個人感覺最主要的原因應該是這個算法參數個數會成k倍增加(k是maxout的一個參數)，不過沒
2020-04-21 15:55:17
原创 dropout，batch norm的使用順序，訓練和測試時的差異
batch norm和dropout都可以起到正則化的作用，防止過擬合。 dropout： dropout通俗理解就是，在神經網絡訓練的時候，有時因爲神經元過多，模型參數過多等原因而導致過擬合，dropout以概率p讓一部分神經元失活，從
2020-04-21 15:55:17
原创 機器學習優化方法——ADAM，RMSPROP，SGD，ADAGRAD等
只是轉載了一部分基礎的：https://blog.csdn.net/yinyu19950811/article/details/90476956
2020-04-20 15:06:17
原创 機器學習基礎——L1，L2正則化
正則化項可以看做損失函數中添加懲罰項，懲罰項的目的在於對其中的一些參數進行限制。L1正則化的模型又稱爲Lasso迴歸，使用L2正則項的模型又稱爲嶺迴歸（Ridge迴歸）。 L1: L1正則化就是對loss加上w的絕對值的和，也就是1
2020-04-19 14:20:06
原创 機器學習——支持向量機SVM學習總結
對於上圖中的紅叉和藍圈，如果我們進行二分類，找到他的分類邊界，那麼有許多中可能（綠色，粉色，黑色）。但是，綠色和粉色的分類超平面，對於未知樣本的預測效果會比黑色的差。支持向量機，就是去找到這樣一個分類超平面，使得樣本點到這個平面
2020-04-18 13:33:13
原创 機器學習——不平衡分類指標
準確率（acc），代表分對的樣本佔所有樣本的比例，在不平衡分類中不可信，比如當樣本比例爲99:1的時候，只需要讓多數類都分對，準確率就可以達到99%，但實際上少數類卻被全部分錯了。 查準率，又叫精確率，用
2020-04-14 04:25:16