原创 機器學習基本概念
1. 機器學習定義 機器學習（Arthur Samuel，1959）：在確定編程之外給予計算機學習能力的研究領域。 機器學習（Tom Mitchell，1998）：如果計算機程序對於任務T的性能度量P通過經驗E得到了提高，則認
2020-02-26 00:36:46
原创 機器學習基石_課後練習答案鏈接
這個專題我主要講的是Coursera-臺灣大學-機器學習基石(Machine Learning Foundations)的課後習題解答。筆者是在學習了Ng的Machine Learning之後開始學習這門課程的
2020-02-26 00:36:46
9
原创 sklearn.neighbors_Nearest Neighbors
======================================================================主要參考 Scikit-Learn 官方網站上的每一個算法進行，並進行部分翻譯 =======
2018-09-03 18:03:03
原创 python_numpy.linalg_部分解釋
（1）np.linalg.inv()：矩陣求逆 （2）np.linalg.det()：矩陣求行列式（標量） np.linalg.norm 顧名思義，linalg=linear+algebra則表示範數，首先需要注意的是範數是對向量（或者
2018-09-03 18:03:03
原创 矩陣求導
前言 本文爲維基百科上矩陣微積分部分的翻譯內容。本文爲原文的翻譯與個人總結，非一一對照翻譯。由於水平不足理解不夠處，敬請原諒與指出。原文地址https://en.wikipedia.org/wiki/Matrix_calculus。原文
2018-09-03 18:03:03
原创 lasso 迴歸 & 嶺迴歸
嶺迴歸(ridge regression) 回憶 LR 的優化目標 L=(Y−Xw)T(Y−Xw) 爲防止過擬合，增加正則化項 λ||w||2 ，目標函數就變成 L=(Y−Xw)T(Y−Xw)+λ||w||2 對其進行求導，得到 ∂
2018-09-03 18:03:03
2
原创 method_SGD(Stochastic Gradient Descent)
剛剛看完斯坦福大學機器學習第四講（牛頓法），也對學習過程做一次總結吧。一、誤差準則函數與隨機梯度下降：數學一點將就是，對於給定的一個點集（X，Y），找到一條曲線或者曲面，對其進行擬合之。同時稱X中的變量爲特徵（Feature)，Y值爲預測
2018-09-03 18:03:03
原创 amijor nonmontone linesearch
用“人話”解釋不精確線搜索中的Armijo-Goldstein準則及Wolfe-Powell準則 line search（一維搜索，或線搜索）是最優化（Optimization）算法中的一個基礎步驟/算法。它可以分爲精確的一維搜索
2018-09-03 18:03:03
4
原创 opt summary
1 優化問題分類 優化問題一般可分爲兩大類：無約束優化問題和約束優化問題，約束優化問題又可分爲含等式約束優化問題和含不等式約束優化問題。 無約束優化問題 含等式約束的優化問題 含不等式約束的優化問題 2 求解策略 針對以上三種
2018-09-03 18:03:03
原创 python_SVD_matlab版svd(U*S*V^T) & python版numpy.linalg.svd(U*S*V)
下面是兩個測試，同樣的數據，不同的版本，請諸君仔細看來： 1.Matlab版SVD分解 [plain] view plain copy print?H = [3.16991321031250,52.4425641326457,2.734
2018-09-03 18:03:03
原创 method_硬閾值（Hard Thresholding）
1、硬閾值(Hard Thresholding)函數的符號 硬閾值(Hard Thresholding)並沒有軟閾值(Soft Thresholding)那麼常見，這可能是因爲硬閾值解決的問題是非凸的原因吧。硬閾值與軟閾值
2018-09-03 18:03:03
14
原创 method_Nesterov's Accelerated Gradient Descent
一般的梯度下降算法的收斂速率爲 o(1/t). 1.簡介: 加速梯度算法(AGD)是梯度算法(GD)的一個改進的版本。Nesterov 在1983年首次提出。人們已經證明AGD算法是所有基於梯度算法（或者說一階）算法中最好的方法。然而原
2018-09-03 18:03:03
原创 Riemanian manifold
對於流形，我在機器學習中的認識就是局部歐式距離的應用，當然其背後強大的數學邏輯也不是一時可以窺全貌，只好先看看一些基礎概念。 1、基本概念 流形，是局部具有歐幾里得空間性質的空間，是歐幾里得空間中的曲線、曲面等概念的推廣。歐幾里得空間就
2018-09-03 18:03:03
原创 Laplace Beltrami Operator
laplace-beltrami operator 是 laplace operator在riemann manifolds上的拓展. 至於他們兩到底有什麼區別和聯繫,請看[2]中的一段話: 可以看到, laplace-beltr
2018-09-03 18:03:03
4
原创 lasso 詳介
lasso的今世前身 引言 年關將至，少不了寫年終總結。自己也絞盡腦汁對研讀的統計文獻做一個總結。我們來聊聊20年前誕生的lasso。lasso理論文章由統計學家Tibshirani, R在於1996年提出，並獲得了里程碑式的影響
2018-09-03 18:03:03