原创 筆記——搭建 LeNet（tensorflow）
本週搭建了 LeNet。 參考：《TensorFlow 實戰 Google 深度學習框架》（鄭澤宇） LeNet paper LeNet 模型如下 按照以下的LeNet 架構： 神經網絡結構的代碼
2018-12-28 17:07:20
2
原创 筆記——Tensorflow: The Confusing Parts (2)
原文鏈接：https://jacobbuckman.com/post/tensorflow-the-confusing-parts-2/ 命名Naming和作用域 Scoping 變量和張量的命名必須是唯一的。隨着創建的常量越來越多，
2018-12-16 16:05:19
1
原创 筆記——論文閱讀《highway Network》
這篇論文裏的吐槽點在於，連個圖都沒有？ highway Network 解決的是深度神經網絡的訓練問題。 文章的核心如下 普通的前饋神經網絡中對輸入 x 進行非線性變化後爲 y： 本文收 LSTM 長短期記憶的啓發，提出如下結構，也
2018-12-09 16:01:45
1
原创 筆記——小波分析
小波轉換步驟如下： 假設原信號爲 s(n)，尺度函數爲 Harr 尺度函數φ(x)，小波函數爲 Haar 函數ψ(x) （1）首先採樣根據信號高頻特徵確定分辨率(j)也即分解層數，獲得離散信號 s'(n) （2）把 s'(n) = V
2018-12-09 16:01:44
原创 筆記——論文閱讀《network in network》
據說這三篇論文可以解答我關於 CNN中網絡深度的疑問，昨天用半天集中讀了一下，發現在神經網絡中，雖然面臨着訓練時間、訓練難易程度的問題，但是既然更深的網絡總能獲得更好的效果，就不可避免深度這個問題。 無論各種架構的 CNN 中創造性的提出
2018-12-07 16:14:09
原创 筆記——AdaBoost算法
Outline 弱學習算法「提升」爲強學習算法的理論依據 Adaboost 算法 Adaboost 算法的例子 Adaboost 算法的例子的實現步驟 思考 1. 弱學習算法「提升」爲強學習算法的理論依據： 因此新問題是「如果
2018-11-26 01:21:35
原创 筆記——CNN Architectures（cs231n 斯坦福計算機視覺公開課）
常見的 CNN Architectures LeNet-5 AlexNet VGG GoogLeNet ResNet 一些計算： 全連接層、卷積、池化操作對於維度的改變： Fully Connected Layer：
2018-11-26 01:21:35
原创 優化算法中的超參數：學習率
優化中的梯度下降法純粹的 SGDSGD+MomentumAdaGradRMSPropAdam 理解：從 AdaGrad 到 RMSProp、Adam，用Momentum的思想一路對這些優化算法的學習率進行變形。 Momentum思想：
2018-11-20 01:36:43
原创 筆記——支持向量機
支持向量機爲什麼要轉換爲Lagrange對偶問題SVM 中的對偶問題求解 w 和 b 的問題轉化成了求解對偶參數αSMO 算法求解兩個變量二次規劃問題的解析方法選擇變量的啓發式方法第一個變量的選擇第二個變量的選擇SMO代碼 在 SVM
2018-11-04 01:37:16
原创 筆記——反向傳播算法
反向傳播算法爲什麼需要反向傳播算法反向傳播圖解理論層面：鏈式法則前向通道後向通道反向傳播代碼 作爲一個邏輯很差又賊容易懵逼的菜鳥，不做筆記和經常回顧真的學不到東西，腦子一團漿糊。 之前明明已經手推了反向傳播算法，後面有點遺忘，再加上斯
2018-11-04 01:37:16
原创 編程實踐-邏輯迴歸分類算法--馬的疝氣病症分類
#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ 邏輯迴歸分類 @dataset：馬的疝氣病症數據集Horse Colic database 任務需求：預測病馬的死
2018-10-20 01:34:35
原创 編程實踐--KNN分類算法--手寫數字識別任務
第一個自己親手敲出來的機器學習算法，覺得還是應該總結一下，並開始養成一個良好的習慣，希望一個接一個克服其他的算法，在這個過程中不僅加深對算法的理解，並獲得對於數據理解的洞察力。任務描述：數據集來自：《機器學習實戰》chapter 2 的手
2018-10-13 01:16:40