原创 深度學習論文筆記(ReLU)：Deep Sparse Rectifier Neural Networks
文章目錄主要工作人工神經網絡與生物神經網絡的區別稀疏性帶來的優勢ReLU神經元的優勢ReLU神經元的劣勢 主要工作 提出了ReLU激活函數，ReLU激活函數的表現能力比tanh激活函數的更加好，訓練完畢的神經網絡具有一定的稀疏性
2020-06-23 12:33:47
25
原创 深度學習論文筆記（增量學習）——Learning a Unified Classifier Incrementally via Rebalancing
文章目錄前言主要工作算法介紹符號約定Cosine NormalizationLess-Forget ConstraintInter-Class Separation損失函數實驗Ablation Study個人理解 前言 我將看過的
2020-06-23 12:33:47
50
原创 深度學習——如何讓深度學習模型訓練的更快更好（圖像）
文章目錄前言如何加速模型收斂增大batch sizeLinear scaling learning ratelearning rate warmupZero γγγNo bias decay實驗如何提高模型的準確率Cosine L
2020-06-23 12:33:47
8
原创 深度學習論文筆記（增量學習）——Large Scale Incremental Learning
文章目錄前言主要工作算法介紹總體流程步驟一：訓練CNN模型loss函數介紹階段二：訓練偏置糾正層實驗：分類器是否出現分類偏好猜測實驗引入Bias Correction Layer實驗Ablation Study 前言 我將看過的增
2020-06-23 12:33:47
249
原创 深度學習論文筆記（可解釋性）——CAM與Grad-CAM
文章目錄主要工作Global Average Pooling的工作機制CAMGrad-CAM 主要工作 CAM與Grad-CAM用於解釋CNN模型，這兩個算法均可得出class activation mappingclass\ a
2020-06-23 12:33:47
70
原创 深度學習論文筆記（增量學習）——End-to-End Incremental Learning
文章目錄前言主要工作算法介紹總體流程步驟一：構建訓練數據步驟二：模型訓練loss函數介紹步驟三：finetuning步驟四：管理examplarexamplarexamplar實驗Fixed memory sizeFixed nu
2020-06-23 12:33:47
33
原创 深度學習論文筆記（異常檢測）——f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks
文章目錄聲明主要工作算法介紹階段一：訓練WGAN階段二：訓練Encoder訓練方式一：iziiziizi訓練方式二：zizzizziz訓練方式三：izifizi_fizif異常檢測實驗 聲明 出於好奇，本人只是閱讀過該篇文章，並
2020-06-23 12:33:47
6
原创 深度學習論文筆記（增量學習）——Learning without Memorizing
文章目錄前言main workmotivationmethod實驗 前言 我將看過的增量學習論文建了一個github庫，方便各位閱讀，地址 main work 提出了Attention distillation loss，與kno
2020-06-23 12:33:47
21
原创 深度學習——反向傳播算法推導
文章目錄前言符號約定標量對向量求導的鏈式法則常用向量對向量求導的公式反向傳播算法推導 前言 之前寫過單層前饋神經網絡，但是其中的推導是針對sigmoid函數的，本篇博客使用矩陣向量求導方式進行反向傳播算法的推導 符號約定
2020-06-23 12:33:47
原创 深度學習論文筆記（注意力機制）——CBAM: Convolutional Block Attention Module
文章目錄主要工作methodchannel attention modulespatial attention module如何結合spatial attention module與channel attention module
2020-06-23 12:33:47
原创 深度學習論文筆記（增量學習）——fearnet: brain-inspired model for incremental learning
文章目錄前言主要工作motivationmethodmPFC networkHC networkBLAConsolidationTraining/Recall整體算法 前言 我將看過的增量學習論文建了一個github庫，方便各位閱
2020-06-23 12:33:47
3
原创 深度學習（增量學習）——GAN在增量學習中的應用（文獻綜述）
文章目錄前言Memory replayMemory replay的缺陷RegularizationRegularization 方式一：EWC RegularizationRegularization 方式二：L2、L1距離Reg
2020-06-23 12:33:47
14
原创 深度學習論文筆記（rethinking knowledge distillation）——On the Efficacy of Knowledge Distillation
文章目錄前言疑問：高準確率的大模型一定就是好teacher嗎？問題二問題一可能的解決方案 這篇文章非常有意思，本文文字部分較多，主要記錄了個人對於文章的一些思考 前言 《On the Efficacy of Knowledge D
2020-06-23 12:33:35
原创 操作系統速記（基礎）—處理器管理
文章目錄處理器管理進程線程進程同步與互斥進程通信死鎖 處理器管理 程序：爲完成特定任務的指令序列 順序執行：多個任務按順序執行，多個任務多次執行結果一致 併發執行：一個程序尚未結束，另一個程序已經開始執行，多個任務多次
2020-06-23 12:33:35
原创 深度學習論文筆記（知識蒸餾）——Distilling the Knowledge in a Neural Network
文章目錄主要工作motivationmethod實驗 主要工作 提出一種知識蒸餾的方法，可以壓縮模型，讓小模型達到與集成亦或是大型模型相似的性能 提出一種新的集成學習方法，可以讓模型訓練速度更快，並且是並行訓練 本文只總結第一
2020-06-23 12:33:34