原创 統計機器學習綜述
#記錄學習心得 一、什麼是機器學習（統計學習） 統計學習就是根據數據來構建概率統計模型並用該模型對數據進行預測與分析。那麼其中可以看出，數據是基礎，目的是對數據進行預測與分析。 根據定義可以提出幾個問題：需要什麼樣的數
2020-06-06 12:35:01
原创 從哲學角度分析過擬合現象
我們制定策略就是在制定評價準則，那麼什麼樣的評價準則才能很好的表現模型的好壞呢？當進行圖片分類任務時，已知的是圖片X和圖片所屬的類別Y，選擇模型f進行預測f(X),我們期望的是Y和f(X)的差別很小，這個差別稱爲損失，學習的目標就
2020-06-06 12:35:01
原创 深度學習中L2 norm的使用
L2 norm其實是一個比較樸素的應用比較廣泛的正則化算法，從過去的傳統算法到現在的深度學習，從數據預處理到模型優化，都或多或少的會用到這個思想。其算法的過程也比較簡單： 1.求出當前層數據的平方 2.求出當前層數據的平方和 3.將第一
2019-07-03 01:32:18
8
原创 HIERARCHICAL MULTISCALE RECURRENT NEURAL NETWORKS 論文簡介
學習層次和時間表示一直是RNN的長期挑戰之一。多尺度RNN一直被認爲是能夠解決這個問題的一種有效方式，但是缺乏經驗證據表明這種方式可以通過發現序列中的潛在層次結構準確地解決時序依賴問題。而這篇論文提出了一種新穎的結構，可以通過使用新穎的更
2019-06-18 01:59:23
5
原创 在SVM中爲什麼成比例改變w和b，分離超平面並沒有發生改變
分離超平面是存在於特徵空間裏面的，假設特徵空間是n維的。 當我們成比例改變w和b的時候，wx+b的值確實也會成比例增加，但是這個值的改變發生在第n+1維，對存在於第n維特徵空間的分離超平面沒有被改變。 這也解釋 了爲什麼在優化的時候
2019-03-19 01:08:46
原创 深度學習筆記day02
一、在代碼中實現梯度下降的反向傳播 Z=w^TX+b=np.dot(w.T,X)+b得到線性迴歸模型。 A=sigmoid(Z)得到預測值。 dZ=A-Y得到成本函數關於Z的導數。 dw=(1/m)*X*dZ^T得
2018-08-26 21:10:28
原创 Python學習筆記_day07
一、編寫函數的測試用例 爲函數編寫測試用例，需要使用到unittest模塊和需要測試的函數，再創建一個繼承自unittest.TestCase的類。例如我們現在有一個方法fun(p1,p2)返回p1和p2組成的字符串，現在編寫一個測
2018-08-26 21:10:26
5
原创 減少過擬合的方法—正則化及其原理
成本函數J（w，b）=(（1/m）L（y_hati,yi）)+(/2m)||w||,其中是正則化參數，||w||是w平方的範數即歐幾里得範數的平方，其中||w||等於wj（j值從1到n）平方的和。此方法稱爲L2正則化。對於b也可以這樣
2018-08-26 21:10:26
3
原创 Python學習筆記day09
這兩天事情太多，耽誤了學習。一、分析數據 1.CSV文件格式 CSV文件格式就是將數據作爲一系列以逗號分隔的值的形式來存儲到文件中，這樣的文件，就叫做CSV文件。 2.Python的標準庫中有一個模塊叫做csv，
2018-08-26 21:10:26
原创 使用mnist數據集實現手寫數字識別
mnist數據集中數字是0到9，要求實現多分類，需要使用softmax函數。此次實現單隱層神經網絡即只有一個輸入層和一個輸出層的神經網絡來訓練並實現手寫數字識別。 softmax只作用在輸出層，要求輸出層輸出一個1*10維的
2018-08-26 21:10:26
原创 神經網絡模型地評估
當訓練好一個神經網絡模型時，首先看準確率如何，如果準確率很低即偏差很高，甚至無法擬合數據，則先檢查訓練集的性能，如果沒問題，則需要選擇一個新的網絡模型（更大的網絡或者訓練更長的時間）重新訓練。然後不斷重複以上步驟，直到解決問題，起碼直到可
2018-08-26 21:10:26
原创 tensorflow的基本用法
一、使用tensorflow自動找到使得成本函數最小的參數值 import numpy as np import tensorflow as tf coefficient=np.array([[1.],[-10.],[25.]])
2018-08-26 21:10:26