原创 機器學習 一般迴歸問題
Given a labeled training set learn a general mapping which associates previously unseen independent test data wit
2019-06-28 15:07:57
原创 機器學習 子集選擇 subset selection
本節主要想表述選取子集的方法，就是在很多個variable裏面選擇其中比較好的幾個來regression,而不是用所有的variable來做regression,那如何衡量選取的好壞呢？還是用那個最小二乘的方法。 1 best-subs
2019-06-28 15:07:57
131
原创 機器學習 最小角迴歸Least Angle Regression（LARS），forward stagewise selection
推薦閱讀： https://blog.csdn.net/xbinworld/article/details/44284293
2019-06-26 16:21:35
15
原创 矩陣 QR分解法
關於如何求一個矩陣A的特徵向量X和特徵值λ，在上學時我們通常使用如下方法： AX =λX =λIX （I：單位陣） => |A -λI| = 0
2019-06-26 16:21:35
原创 機器學習 LRAS Lasso
日後學習記錄一下： 分組最小角迴歸算法（group LARS）：https://cosx.org/2011/04/group-least-angle-regression-algorithm/ LARS算法簡介：https://cos
2019-06-22 15:07:11
原创 CTeX的使用教學合集
1：https://blog.csdn.net/LHQJ1992/article/details/50458118 （推薦！） 2：https://blog.csdn.net/wangyang163wy/article/detai
2019-06-21 15:17:49
原创 機器學習 Lasso迴歸算法
Lasso迴歸算法： 座標軸下降法與最小角迴歸法小結 前面的文章對線性迴歸做了一個小結，文章在這： 線性迴歸原理小結。裏面對線程迴歸的正則化也做了一個初步的介紹。提到了線程迴歸的L2正則化-Ridge迴歸，以及線程迴歸的L1正則化
2019-06-21 15:17:48
原创 機器學習 線性迴歸
線性迴歸原理小結 線性迴歸可以說是機器學習中最基本的問題類型了，這裏就對線性迴歸的原理和算法做一個小結。 1. 線性迴歸的模型函數和損失函數 線性迴歸遇到的問題一般是這樣的。我們有m個樣本，每個樣本對應於n維特徵和一個結果
2019-06-20 15:14:32
原创 機器學習 最小二乘法
最小二乘法小結 最小二乘法是用來做函數擬合或者求函數極值的方法。在機器學習，尤其是迴歸模型中，經常可以看到最小二乘法的身影，這裏就對我對最小二乘法的認知做一個小結。 1.最小二乘法的原理與要解決的問題 最小二乘法是由勒讓
2019-06-20 15:14:32
原创 機器學習 梯度下降（Gradient Descent）
梯度下降（Gradient Descent）小結 在求解機器學習算法的模型參數，即無約束優化問題時，梯度下降（Gradient Descent）是最常採用的方法之一，另一種常用的方法是最小二乘法（詳見另一文章）。這裏就對梯度下
2019-06-20 15:14:32
原创 機器學習中的範數與稀疏性
機器學習中的範數與稀疏性 監督機器學習問題無非就是“minimize your error while regularizing your parameters”，也就是在規則化參數的同時最小化誤差。最小化誤差是爲了讓我們的模型擬合我
2019-06-13 18:30:34
原创 機器學習 正則化
正則化 1. The Problem of Overfitting 1 還是來看預測房價的這個例子，我們先對該數據做線性迴歸，也就是左邊第一張圖。 如果這麼做，我們可以獲得擬合數據的這樣一條直線，但是，實際上這並不是一個很好的模型。
2019-06-13 18:30:34
原创 機器學習 稀疏性的優點
稀疏指的是參數或者數據中零的個數,零的個數越多,參數或者數據就越稀疏.這種稀疏性帶來許多優點. 參數稀疏有什麼好處 1）特徵選擇(Feature Selection)： 大家對稀疏規則化趨之若鶩的一個關鍵原因在於它能實現特徵的自動選擇。一
2019-06-13 18:30:33
84
原创 揹包問題-ACM
原作地址：https://blog.csdn.net/yoer77/article/details/70943462 0-1揹包問題 有n個重量和價值分別爲 wi,viwi,vi 的物品， 求所有挑選方案中價值總和的最大值。 樣例：
2019-03-03 22:55:47
1