原创 cs231n-(1)圖像分類和kNN
圖像分類 數據驅動 圖像學習流程 最近鄰分類器 圖像分類數據集CIFAR-10 k-Nearest Neighbor分類器 驗證集用來調優超參數 NN的優缺點 總結 kNN實踐總結 圖像分類 圖像分類是把一副圖
2020-06-20 22:58:43
2
原创 cs231n-(3)最優化：隨機梯度下降
介紹 可視化loss函數 優化 隨機搜索 隨機本地搜索 沿着梯度 計算梯度 數值梯度 分析梯度 梯度下降 Mini-batch梯度下降 隨機梯度下面Stochastic Gradient Descent SGD
2020-06-20 22:58:43
原创 cs231n-(5)神經網絡-3：學習和評估
梯度檢查 使用中心化形式的梯度計算 使用相對誤差 使用雙精度 數值範圍要在單精度精確度內 目標函數中的不連續點 使用少量數據點 注意h的大小 在典型mode檢查 不要讓正則化淹沒數據 關閉drop out和數據擴展 檢查少量
2020-06-20 22:58:42
原创 cs231n-(4)反向傳播
介紹 簡單表達式和解釋梯度 使用鏈式法則計算複合表達式 反向傳播直觀理解 模塊化Sigmoid例子 反向傳播實踐分段計算 方向傳播流的模式 向量化梯度操作 總結 參考 介紹 這節介紹反向傳播的直觀理解。使用鏈式法則
2020-06-20 22:58:42
原创 《Deep Learning》(4)-數值計算
1 上溢出和下溢出Overflow and Underflow 2 Poor Conditioning 3梯度下降最優化 31 Beyond the Gradient雅克比矩陣和海森矩陣 4 受限的優化問題 5例子線性最
2020-06-20 22:58:42
1
原创 《Deep Learning》(3)-概率和信息論
1 爲什麼需要概率 2隨機變量 3 概率分佈 31 離散變量和概率質量函數 32 連續變量和概率密度函數 4邊際概率 5 條件概率 6 條件概率的鏈式法則 7獨立和條件獨立 8 期望方差和協方差 9常用概率分佈 伯努利分
2020-02-21 00:08:02
原创 tiny_cnn源碼閱讀(2)-激活函數
激活函數概述 identiti函數 sigmoid函數 relu函數 leaky_relu elu softmax tanh tanh p1m2 源碼閱讀 參考 激活函數概述 神經網絡都有各個層組成，在不同的層中，用到
2020-02-21 00:07:34
原创 《Deep Learning》(2)-線性代數
1 標量向量矩陣和張量 2 矩陣向量的乘 3 矩陣求逆和單位矩陣 4 線性依賴和跨度 5 範數 6特殊矩陣和向量 7 特徵分解 8奇異值分解 9 廣義僞逆矩陣 10 跡算子 11行列式 12 例子主成成分分析 2
2020-02-21 00:07:34
原创 POCO安裝並測試
POCO是C++實現的包含網絡的，可以集成到應用的開源庫。官網地址爲：http://pocoproject.org。 安裝 我下載的是“poco-1.7.3-all.tar.gz”，解壓後，先配置，我已經安裝openssl，不安裝
2020-02-21 00:07:34
原创 cs231n-(2)線性分類器：SVM和Softmax
圖像到標籤得分的參數映射 線性分類器 類比高維空間 線性分類器看做模板匹配 偏置技巧 數據預處理 損失函數 多類SVM loss 正則化 實踐注意事項 Softmax分類器 SVM vs Softmax 總結 拓展閱
2020-02-21 00:07:34
1
原创 cs231n-(5)神經網絡-1：建立架構
簡單介紹 單個神經元模型 生物學動機和連接 單個神經元當做線性分類器 常用的激活函數 Sigmoid Tanh ReLU Leaky ReLU Maxout 神經網絡結構 前向傳播計算例子 表述能力 設置層的個數和大
2020-02-21 00:07:34
原创 tiny_cnn源碼閱讀(1)-編譯運行源碼
機器學習是理論性很強的一門課程，在工程實踐時，常常難以把理論和代碼結合起來。想通過一個工程來學習一下機器學習中的卷積神經網絡。 tiny_cnn是c++寫的實現cnn的代碼，想通過代碼來了解理論，學習和鍛鍊一下編程能力。tiny
2020-02-21 00:07:33
原创 tiny_cnn源碼閱讀(3)-layer_base和layer
概述 layer_base分析 layer分析 概述 神經網絡有各個層組成，層是神經網絡的基本組件。tiny_cnn中，實現功能的層有input_layer, convolutional_layer, average
2020-02-21 00:07:33
原创 《機器學習實戰》--Logistic迴歸
Sigmoid函數 梯度下降法 隨機梯度下降 批梯度下降 參考 邏輯迴歸中的輸入和輸出是非線性關係，這樣可以把輸出限定在某一範圍內。一個常用的邏輯迴歸函數爲Sigmoid函數 Sigmoid函數 Sigmoid函數表達式爲
2020-02-21 00:07:33
原创 《Deep Learning》(1)-介紹
在讀書時學過不少數學知識，工作後才意識到數學的重要性。機器學習、深度學習這些理論基礎算是基本都學過，但是有些理解不深刻、印象模糊，不成系統。這裏以《Deep Learning》爲基礎，記錄一下再度學習的過程和筆記。 1、介紹
2020-02-21 00:07:22