原创 下降方法descent method

1:目標 對於無目標約束問題進行最小值求解問題。 x(k+1)=x(k)+t(k)Δx  等式爲迭代關係,其中 t(k) 爲第k次的迭代步長。Δx  搜索方向。 對於求其最優解,即是考慮求其最小值。我們所有學的下降

原创 高斯判別分析GDA

解釋:高斯分界面的等式成立可以這樣理解:對於任意一點x,其出現在y=0和y=1的兩類概率相等。 clear; clc %%隨機生成一組高斯數據 mu1=[2,2,3]; sigma=[1,0,0;0,2,0;0,0,3]

原创 感知機到支持向量機流程

一:感知機 1.定義: 輸入空間(特徵空間)x ,輸出空間(類別)y=−1,+1 。由輸入空間到輸出空間的映射爲如下函數f(x)=sign(w∗x+b) 稱爲感知機。 2.思想 由訓練樣本T=(x1,y1)...(xn

原创 <機器學習練習>樸素貝葉斯法

一:預備知識 1)條件概率:事件A 發生的條件下,事件B 發生的概率記爲:p(B|A)=p(AB)p(A) 。 2)全概率公式:設事件B1,B2...Bn 爲樣本空間的一個劃分,也就是事件B1,B2...Bn 把樣本空間不相交的給劃

原创 <機器學習練習>高斯判別分析GDA

解釋:高斯分界面的等式成立可以這樣理解:對於任意一點x,其出現在y=0和y=1的兩類概率相等。 clear; clc %%隨機生成一組高斯數據 mu1=[2,2,3]; sigma=[1,0,0;0,2,0;0,0,3]; x0

原创 <機器學習練習>邏輯斯諦迴歸

一:線性迴歸 線性迴歸假設特徵和結果滿足線性關係。線性迴歸,就是線性擬合,擬合就是找到那條線,對殘差平方和最小的那條直線。 比如說:我們要模擬房子的大小(x1 ),房子的位置(x2 )。。。對於房價(y )的影響。假設他們是線性關係。則

原创 Proximal Gradient Method近端梯度算法

本文參考文獻附在最後。是對參考文獻的理解。 1:此算法解決凸優化問題模型如下:minF(x)=g(x)+h(x) 其中g(x) 凸的,可微的。h(x) 閉的凸的。其中g(x),h(x)是由F(x) 分離出來的兩項,當F(x) 分離

原创 動態規劃筆記

動態規劃筆記 由於自己是非計算機專業,而對編程學習比較感興趣,特學習算法導論一書,根據書上僞代碼來練習,一來提高自己算法思維,二來督促自己好好學習,不能虛度光陰。 一:思想   動態規劃,通常用來求解最優化問題,這類問題有很多可行解,我

原创 <機器學習練習>感知機到支持向量機流程

一:感知機 1.定義: 輸入空間(特徵空間)x ,輸出空間(類別)y=−1,+1 。由輸入空間到輸出空間的映射爲如下函數f(x)=sign(w∗x+b) 稱爲感知機。 2.思想 由訓練樣本T=(x1,y1)...(xn,yn)

原创 l1範數最小化快速算法

1:解決的問題模型如下: 或者約束條件可以適當的鬆弛,即爲如下模型: 當然約束條件取l2 範數,b 數據獲取的比較準確,結果逼近的效果更好,防止過擬合。如果取l1 範數,則是獲取的b 數據,受到污染比較嚴重。並且b 本身就

原创 <優化算法>下降方法descent method

1:目標 對於無目標約束問題進行最小值求解問題。 x(k+1)=x(k)+t(k)Δx  等式爲迭代關係,其中 t(k) 爲第k次的迭代步長。Δx  搜索方向。 對於求其最優解,即是考慮求其最小值。我們所有學的下降方法滿足

原创 稀疏問題的學習

1:矩陣的填充問題。 矩陣填充問題,考慮的是採樣得到的一個矩陣,這個矩陣並不是完整的,只能得到一部分的元素。如何利用已有的元素,去把未知的元素給填充完整。不是說任意不完全的矩陣都可以直接填充的,現有的算法必須要求這個矩陣是

原创 K-SVD算法學習

1:稀疏表示: 考慮線性等式,或者是線性逼近。X=Da ,這裏的D是M∗P 的矩陣。稱爲字典(字典學習中),測量矩陣(壓縮感知中),權重矩陣(多任務學習中),其中M<<P 。D 中的每一列稱爲原子。其模型爲min||a||0

原创 <機器學習練習>EM算法

一:EM算法介紹 1)算法解釋: Expectation-maximization algorithm,期望最大化算法。用於含有不可觀察的隱形變量的,概率模型中,並利用參數最大似然估計。 2)計算思想: 因爲模型包含隱含的變量,可以看作

原创 <機器學習練習>K-means聚類算法

1:思想 K-means,屬於無監督學習。即輸入數據沒有標籤y,經過一些算法後,找到標籤y。 聚類的目的就是找到每個樣本潛在的標籤y,並將同類別的樣本放到一起。 而k-means聚類:就是把n個點(可以是樣本的一次觀察或一個實