原创 無約束非線性優化經典算法學習筆記

本博客僅爲學習筆記。 梯度下降法 有函數x(θ) ,梯度下降法的迭代公式爲: xk+1=xk−agk 其中gk 爲x(θ) 在x_k點的導數。 牛頓法 當x爲標量時 xk+1=xk−x′x′′ 當x爲向量時: xk+

原创 機器學習通俗入門-使用梯度下降法求解二分問題

回顧 在前面的文章中介紹了使用梯度下降法解決迴歸問題。那麼使用如何解決二分問題呢? 問題 現在有這麼一個數據集 D=x,y 其中 x 是觀測到的數據,y 是所屬分類。我們想通過建立一個模型,給出x就能得到它的分類信息。 數

原创 支持向量機SVM 原理、推導與Matlab實現

1 內容 本文首先介紹SVM的原理,隨後給出SVM的公式推導、並使用Matlab的二次規劃函數進行求解。 2 SVM原理 我們前面學過了線性迴歸和線性分類器。我們來回顧一下。 2.1 線性迴歸 線性迴歸試圖找到一條線,讓每個點在Y

原创 座標下降法(座標上升法)matlab程序

起因 因爲求解SVM的最牛算法SMO算法,使用的時座標下降法的思路,所以學習一下這個算法。 方法 某函數包含多個自變量,需要求這個函數的最大或最小值時,可以應用此座標下降法(最小值)或座標上升法(最大值)。 其過程是,對每個自變量

原创 tcmalloc 資源及使用過程

資源下載 https://download.csdn.net/download/TaiJi1985/12530542 編譯安裝 unzip tcmalloc.zip tar -zxvf gperftools-2.1.tar.gz

原创 機器學習通俗入門-樸素貝葉斯分類器

問題 爲了方便對比,我們仍然拿手寫識別Mnist這個數據集作爲我們的實驗的數據集。Mnist數據集[1,2] 中包含60000張手寫數字圖片,10,000 張測試圖片。每張圖片的大小爲28*28,包含一個手寫數字。下面是一些樣本舉

原创 自動求導程序的設計與實現(Python)

動機 作者 Yangtf 最近一直在求各種導數,於是就想寫一個自動求導的算法。 其實python中的theano就有這個功能,但想了想,思路不難,於是就動手實現了一個。 本來想用c++實現了,但發現c++寫各種問題,內存管理、操作

原创 FM調製、解調 Matlab代碼

問題說明 待完成。。。。。 太晚了都凌晨了,明天整。 %------------------------------------- %2FSK調製 s=[1 0 1 1 0 0 1 0]; %原始數據 f1= 200

原创 Java連接串口代碼

類庫和實例程序下載 https://download.csdn.net/download/TaiJi1985/12538399 代碼 import java.util.ArrayList; import gnu.io.Seria

原创 機器學習通俗入門-Softmax 求解多類分類問題

$ 問題 0-1分類問題解決將一個樣本分配到A還是B的問題,總共只有兩個類。而多類分類問題則包含多個類。Mnist數據集[1,2] 中包含60000張手寫數字圖片,10,000 張測試圖片。每張圖片的大小爲28*28,包含一個手寫

原创 YangMVC實現下載功能

YangMVC 1.8.5 的Controller類添加了download函數。在用戶編寫的控制器中可以直接使用這個函數,提供下載功能。 public class MyController extends Controller{

原创 YangMVC教程- 如何實現分頁

說明 使用YangMVC, 用戶訪問一個url時,這個請求會被映射到控制器類的一個方法上。實現一個數據列表功能時,在控制器中進行數據庫查詢,隨後交給JSP來顯示。 分頁功能是非常常見的功能,而分頁的導航條實現起來比較複雜。如共有1

原创 多層神經網絡與反向傳播算法

感知機 感知機就是我們前面學過的線性分類器加上一個激活函數。 線性分類器: v=wTx+b=(∑iwixi)+b 很多實際問題並不是線性可分的,所以需要用一個非線性函數將上述結果變爲非線性的。 y=φ(v) 常用的激活函數有s

原创 複習-高等數學的求導

常量 c′=0 冪函數求導 (xa)′=axa−1 舉例: x′=1 x2=2x (1x)′=(x−1)′=−1˙x−2=−1x2 (x√)′=(x12)′=12x−12=12x√ 指數函數 (ax)′=(lna)(ax) (

原创 機器學習通俗入門-使用梯度下降法解決最簡單的線性迴歸問題

動機 一直以來,使用機器學習的算法都是用他人寫好的類庫,總覺得雲裏霧裏的,弄不清楚到底怎麼回事。今天實現了一個最簡單的線性迴歸分析,覺得收貨很大。紙上得來終覺淺,絕知此事要躬行。 迴歸分析 數據 假設有一組數據,知道自變量和因變量