原创 什麼情況下應該設置 cudnn.benchmark = True？
問題 在很多情況下我們都能看到代碼裏有這樣一行： torch.backends.cudnn.benchmark = true 而且大家都說這樣可以增加程序的運行效率。那到底有沒有這樣的效果，或者什麼情況下應該這樣做呢？ 解決辦法 總
2019-01-25 23:34:12
原创 卷積神經網絡中可以讓特徵圖尺寸減半/不變的常用卷積結構
Pytorch中函數torch.nn.Conv2d的參數解釋 其中，參數groups很有意思，字面上理解是將參數分組，它可以在保持輸出通道數不變的情況下，將參數重複利用。 在實際實驗中，同樣的網絡結構下，這種分組的卷積效果是好於未分組
2019-01-25 23:34:12
10
原创 Pytorch 使用多GPU訓練，有用
model 先把model都定義好，再統一放到GPU上，不然可能會報錯 不要動optimizer # 多GPU if len(conf.device_ids)>1: self.m
2019-01-09 23:13:30
原创 Pytorch 快速入門 ：從tensorflow轉Pytorch的筆記
從tensorflow那邊踩坑後過來，對比一下二者的不同： PyTorch vs TensorFlow，哪個更適合你 爲什麼要轉Pytorch？ 更加靈活(可以去看別人用tensorflow實現，因爲很流行，然後方便地用torch去
2019-01-05 00:11:41
1
原创 神經網絡訓練 調參經驗總結 (持續更新中...)
loss爲Nan（最近實現Arcface(後改名insightface)遇到的困難，網絡結構是） 考慮梯度爆炸/消失： 把學習率調小； 對梯度進行裁剪； optimizer = tf.train.AdamOptimiz
2018-12-31 01:15:25
44
原创 NeurlPS 論文閱讀(1) - Neural Ordinary Differential Equations
論文鏈接 戳這篇博客，很詳細了 概要 引入新的網絡概念——OdeNet，常微分方程，連續的深度神經網絡。 1. 介紹 殘差模塊 假設當我們添加更多的層，會發生什麼? 內存效率 不儲存任何前向傳播的參數。在第2節，我們展示
2018-12-31 01:14:54
20
原创 CVPR2017 論文閱讀 Channel Pruning for Accelerating Very Deep Neural Networks
文章鏈接 代碼鏈接 概要 給定經過訓練的CNN模型，我們提出了一種迭代的兩步算法，通過基於LASSO迴歸的信道選擇和最小二乘重建來有效地修剪每一層。 效果可以達到： VGG-16，4倍加速，Top-5 accuracy 下降0.0%
2018-12-25 23:37:27
原创 人臉識別-論文閱讀(8) : Attribute-Enhanced Face Recognition with Neural Tensor Fusion Networks
論文鏈接 動機 在很多困難場景下, 如大姿態, 基於深度學習的人臉識別性能會下降很多. 但我們觀察到,在這些困難場景下, 如大姿態, 人臉的屬性信息(facial attribute)如性別, 人種, 髮色, 眉毛形狀等是保持不變的.
2018-12-23 13:27:00
8
原创 ICML 論文閱讀 Understanding Black-box Predictions via Influence Functions
論文鏈接 abstract 提出兩個問題： 如果將某個訓練點移除訓練會怎樣？ 如果某個訓練點略有改變訓練會怎樣？ 貢獻： 通過 “影響” 方法去理解黑盒預測，識別最有影響力的訓練點； 只需要梯度和Hessian矩陣； “甚至”表
2018-12-17 22:44:26
7
原创 使用t-SNE降維，可視化數據的小嚐試
from sklearn.manifold import TSNE import matplotlib.pyplot as plt tsne = TSNE(n_components=2) #降到2維 X_2D = tsne.fi
2018-12-13 22:44:39
11
原创 人臉識別-論文閱讀(7)
1.DocFace+ 論文鏈接 概要 應用：高精度的人證對比系統 將現場拍攝的人臉照片和系統內的存檔照片或現場掃描身份證上的照片作對比，看是不是同一身份。 幾個要點： 首先展示了基於梯度的優化方法在類別數量多、樣本數量不足的時候，
2018-12-07 23:28:49
原创 人臉識別-論文閱讀(6)
1.Range Loss for Deep Face Recognition with Long-Tailed Training Data，ICCV 2017，商湯科技 論文鏈接 1. 概要： 長尾分佈，舉個例子說就是80%的財富掌
2018-12-07 23:28:38
原创 mac 上 ssh 登錄 ubuntu 的可視化圖形界面
下載 XQuartz ssh -X username@ip_address 打開瀏覽器 firefox 查看圖片 eog xxx.jpg
2018-12-07 23:28:38
原创 linux 通過python-x.x.x.tgz 安裝 pip 和python
linux 安裝pip 和python3 解決ImportError: cannot import name HTTPSHandler apt安裝openssl-devel python -m pip install --upgrad
2018-12-07 23:28:38
1