原创 蒸餾法第二節——蒸餾法&分類任務
【1】A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta,and Y. Bengio. Fitnets: Hints for thin deep nets. arXiv pre
2020-07-03 09:27:35
1
原创 蒸餾法第三節——蒸餾法&檢測任務
【1】G. Chen, W. Choi, X. Yu, T. Han, and M. Chandraker. Learning efficient object detection models with knowledge distil
2020-07-03 09:27:35
4
原创 語義分割——FCN
《Fully Convolutional Networks for Semantic Segmentation》 FCN架構： FCN可以接受任意尺寸的輸入圖像，採用反捲積層對最後一個卷積層的feature map進行上採樣， 使它恢復
2019-10-26 12:55:50
8
原创 語義分割——PSPNet
《Pyramid Scene Parsing Network》 大名鼎鼎的PSPnet, 2016年 ILSVRC'16 MIT Scene Parsing Challenge冠軍。原文請戳https://arxiv.org/abs/16
2019-10-26 12:55:50
原创 蒸餾法——人臉識別
1，Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification 1）初始化策略： 1.1）使用soft
2019-10-26 12:55:50
1
原创 蒸餾法第一節——從頭說起 Distilling the knowledge in a neural network
論文：G. Hinton, O. Vinyals, and J. Dean. Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531, 2
2019-06-12 03:14:30
原创 蒸餾法文章選讀——Correlation Congruence for Knowledge Distillation
7, Correlation Congruence for Knowledge Distillation https://arxiv.org/abs/1904.01802 1)，創新點：原始的蒸餾法只是用學生網絡的某個向量去擬合教師網絡的
2019-05-07 04:58:42
18
原创 深度學習問題檢查——訓練出現nan, loss不降
一、訓練出現nan的原因 https://blog.csdn.net/ch07013224/article/details/80324373 1，檢查數據。數據的label有無錯誤。 製作lst修改過標籤 2，檢查參數。保存的網絡層和損失
2019-05-01 07:08:24
278
原创 BN——Batch Norm原理Batch Normalization,Accelerating Deep Network Training
參考論文 “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift“ 1， 深度網絡訓練在實際中是複雜的
2019-05-01 07:08:24
2
原创 Jupyter入門
由於之前使用deepdive和snorkel，用到了jupyter，所以這裏筆記記錄下。 https://www.cnblogs.com/nxld/p/6566380.html Jupyter Notebook（此前被稱爲 IPython
2019-05-01 07:08:24
1
原创 SDAE訓練流程和代碼實現(Matlab)——咬文嚼字系列
SDAE（stacked denoised autoencoder ，堆棧去噪自編碼器）是vincent大神提出的無監督的神經網絡模型，論文：Stacked Denoising Autoencoders: Learning Use
2018-09-02 04:53:08
29
原创 hihocoder:1032 : 最長迴文子串
一、問題描述 現給定一個已知的字符串str[]，現在想要在O(n)的時間複雜度之內求出一個最長的迴文子字符串(正着和倒着順序讀一致)。 Manacher最早發現了可以用O(n)的時間複雜度來解決該問題，所以這種方法稱之爲Manac
2018-09-02 04:53:08
原创 Lenet5設計理解——咬文嚼字系列
最近在看lecun大神的這篇經典文章：“Gradient-Based Learning Appliedto Document Recognition”，文章較老，但是對於lenet5的一些基礎概念講解淺顯易懂，本文主要對lenet
2018-09-02 04:53:08
8
原创 deepdive中文關係提取
參考鏈接：https://github.com/SongRb/DeepDiveChineseAppshttps://github.com/qiangsiwei/DeepDive_Chinesehttps://github.com/mcav
2018-09-02 04:53:08
原创 snorkel提取關係實驗一——英文新聞裏面提取配偶
參考https://github.com/HazyResearch/snorkel代碼地址：https://github.com/HazyResearch/snorkel/blob/master/tutorials/intro/Intro
2018-09-02 04:53:08
34