原创 分類技巧：Fixing the train-test resolution discrepancy
【GiantPandaCV導語】調研分類方法的時候師姐推薦的一篇paper，其核心是訓練的時候使用小分辨率，測試的時候使用大分辨率（訓練分辨率的1.15倍），能夠有效提升驗證精度。 Motivation ImageNet數據集分類模型通常採
2021-11-09 12:54:19
原创 Bag of Tricks for Neural Architecture Search
【GiantPandaCV導語】相比於普通的分類網絡，基於超網的NAS更加難以訓練，會出現收斂效果較差甚至不收斂的情況。並且，基於超網的NAS還需要額外關注子網的排序一致性等問題，訓練策略的選擇也極爲重要。AutoSlim, BigNAS等
2021-11-05 12:54:21
原创 【神經網絡搜索】NasBench301 使用代理模型構建Benchmark
【GiantPandaCV導語】本文介紹的是NAS中的一個benchmark-NASBench301, 由automl.org組織發表，其核心思想是針對表格型基準存在的不足提出使用代理模型擬合架構與對應準確率。 Paper: NAS-Ben
2021-11-01 12:54:12
7
原创 libpng warning iCCP 錯誤處理方法
png圖片缺乏某些庫，導致損壞，或者多餘了一些數據會導致以下報錯： libpng warning: iCCP: known incorrect sRGB profile libpng warning iccp extra compresse
2021-10-31 12:54:16
1
原创 NetAug 韓松團隊新作
【GiantPandaCV導語】本文介紹的是韓松團隊針對欠擬合問題提出的一種解決方案，在代價可接受範圍內能夠提升小模型的性能。 引入 專用於解決小型網絡模型欠擬合 帶來的問題，通過引入更大的模型包圍住小模型從而得到額外的監督信息。欠擬合情況
2021-10-29 12:54:17
原创 Tmux科研利器-更方便地管理實驗
1. 概念解釋 基礎部件是session(會話) 每個會話可以創建多個window(窗口) 每個窗口可以劃分多個pane(窗格) 2. 常用命令解釋 tmux的退出 : ctrl + d 或者 exit命令 tmux前綴鍵：Ctrl
2021-10-17 12:54:11
原创 【神經網絡結構搜索】DNA: Block-wisely Supervised NAS with KD
【GiantPandaCV導語】知識蒸餾結合NAS的一篇工作，提出了DNA，讓教師網絡來指導超網的學習。這個工作將知識蒸餾非常深入的融合在一起，有很強的創新性，已被CVPR20接收。 1. 背景介紹 知識蒸餾通常作爲One-Shot NAS
2021-09-28 12:54:16
5
原创 DeiT：使用Attention蒸餾Transformer
題目：Training data-efficient image transformers & distillation through attention 【GiantPandaCV導語】Deit是一個全Transformer的架構，沒有
2021-09-24 12:54:22
17
原创 ECCV20 BigNAS無需後處理直接部署
【GiantPandaCV導語】這篇是Slimmable Network三部曲之後的續作，提出了Single-Stage的超網訓練方法，在更大的搜索空間中，提出了很多訓練的Trick來提升訓練效果以及穩定訓練過程。 0. Info Titl
2021-09-17 12:54:20
原创 如何更好地調整學習率？
【GiantPandaCV導讀】learning rate對模型調優重要性不言而喻，想到超參數調優第一個可能想到的方法就是網格搜索Grid Search，但是這種方法需要大量的計算資源。之前使用fastai的時候發現其集成了一個功能叫lr_
2021-07-06 12:54:08
4
原创 【神經網絡架構搜索】ProxylessNAS直接在ImageNet上搜索
【GiantPandaCV導語】這篇是MIT韓松實驗室發佈的文章，是第一個直接在ImageNet上進行搜索的NAS算法，並且提出了直接在目標硬件上對latency進行優化的方法。相比於同期算法NASNet、MnasNet等，搜索代價降低了2
2021-07-01 12:54:10
4
原创 CVPR2021 NAS相關論文鏈接
Neural Architecture Search with Random Labels Landmark Regularization: Ranking Guided Super-Net Training in Neural Arch
2021-06-22 12:54:13
4
原创 【神經網絡架構搜索】SMASH直接生成候選網絡權重
1. INFO Title: SMASH: One-Shot Model Architecture Search through HyperNetworks Author: Andrew Brock, Theodore Lim, & J.
2021-06-22 12:54:13
原创 ICLR 2021 NAS 相關論文(包含Workshop)
ICLR 2021 Workshop 接收 Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure Zhijie Deng, Yu
2021-06-22 12:54:13
6
原创 【Pytorch基礎】Torchvision中transform的腳本化
Transforms從torch1.7開始新增了該特性，之前transform進行數據增強的方式是如下的，i.e. 使用compose的方式： default_configure = T.Compose([ T.Ra
2021-06-18 12:54:13
18