原创 如何使用logging生成日誌
【GiantPandaCV導語】日誌對程序執行情況的排查非常重要，通過日誌文件，可以快速定位出現的問題。本文將簡單介紹使用logging生成日誌的方法。 logging模塊介紹 logging是python自帶的包，一共有五個level:
2021-06-10 12:54:10
原创 高效管理深度學習實驗
【GiantPandaCV導語】這學期參加了一個比賽，有比較大的代碼量，在這個過程中暴露出來很多問題。由於實驗記錄很糟糕，導致結果非常混亂、無法進行有效分析，也沒能進行有效的回溯。趁比賽完結，打算重構一下代碼，順便參考一些大型項目的管理方法
2021-06-10 12:54:10
原创 Python Yaml配置工具
【GiantPandaCV導語】深度學習調參過程中會遇到很多參數，爲了完整保存一個項目的所有配置，推薦使用yaml工具進行配置。 簡介 Yaml是可讀的數據序列化語言，常用於配置文件。 支持類型有： 標量（字符串、證書、浮點） 列表 關聯
2021-06-09 12:54:16
1
原创 【神經網絡搜索】神經網絡架構國內外發展現狀-NAS信息檢索
@目錄[1] 信息檢索語言[2] 信息檢索技術[3] 信息檢索工具[4] 信息檢索流程 [1] 信息檢索語言 信息檢索語言是用於描述信息系統中的信息的內容特徵，常見的信息檢索語言包括分類語言和主題語言。就神經網絡架構搜索這個問題來說，最好選
2021-05-29 12:54:29
原创 【Pytorch基礎】BatchNorm常識梳理與使用
BatchNorm, 批規範化，主要用於解決協方差偏移問題，主要分三部分： 計算batch均值和方差 規範化 仿射affine 算法內容如下： 需要說明幾點： 均值和方差是batch的統計特性，pytorch中用running_me
2021-05-29 12:54:29
5
原创 【神經網絡搜索】Once for all
【GiantPandaCV導語】Once for all是韓松組非常有影響力的工作，其最大的優點是解耦了訓練和搜索過程，可以直接從超網中採樣出滿足一定資源限制的子網，而不需要重新訓練。該工作被ICLR20接收。 目錄0. Info1. Mo
2021-05-29 12:54:29
1
原创 如何閱讀和學習深度學習項目代碼
【前言】現在深度學習項目代碼量越來越大，並且單個文件的量也非常的大。筆者總結了一些專家的經驗並結合自己看的一些項目，打算總結一下如何探索和深入一個深度學習項目庫。筆者pprp，未經允許不得擅自轉發。 1. 基礎知識 首先，需要保證有一定的深
2021-05-28 12:54:17
原创 【NAS工具箱】Drop Path介紹 + Dropout回顧
【前言】Drop Path是NAS中常用到的一種正則化方法，由於網絡訓練的過程中常常是動態的，Drop Path就成了一個不錯的正則化工具，在FractalNet、NASNet等都有廣泛使用。 Dropout Dropout是最早的用於解決
2021-05-27 12:54:18
72
原创 【NAS工具箱】Pytorch中的Buffer&Parameter
Parameter ： 模型中的一種可以被反向傳播更新的參數。 第一種： 直接通過成員變量nn.Parameter()進行創建，會自動註冊到parameter中。 def __init__(self): super(MyMode
2021-05-27 12:54:18
原创 【神經網絡架構搜索】NAS-Bench-101: 可復現神經網絡搜索
【GiantPandaCV導語】Google Brain提出的NAS領域的Benchmark,是當時第一個公開的網絡架構數據集，用於研究神經網絡架構搜索。本文首發GiantPandaCV，請不要隨意轉載。 0. 摘要 神經網絡搜索近年來取
2021-05-19 12:54:14
原创 【神經網絡搜索】Single Path One Shot
【GiantPandaCV導讀】Single Path One Shot(SPOS)是曠視和清華、港科大聯合的工作。與之前的工作不同，SPOS可以直接在大型數據集ImageNet上搜索，並且文章還提出了一種緩和權重共享的NAS的解耦策略，讓
2021-05-04 12:54:10
8
原创 【神經網絡搜索】DARTS: Differentiable Architecture Search
【GiantPandaCV】DARTS將離散的搜索空間鬆弛，從而可以用梯度的方式進行優化，從而求解神經網絡搜索問題。本文首發於GiantPandaCV，未經允許，不得轉載。 1. 簡介 此論文之前的NAS大部分都是使用強化學習或者進化算法等
2021-03-23 12:54:29
100
原创 Microsoft NNI入門
【GiantPandaCV導語】Neural Network Intelligence 是一個工具包，可以有效幫助用戶設計並調優汲取學習模型的神經網絡架構，以及超參數。具有易於使用、可擴展、靈活、高效的特點。本文主要講NNI基礎的概念以及一
2021-03-23 12:54:29
14
原创 【神經網絡搜索】Efficient Neural Architecture Search
【GiantPandaCV導語】本文介紹的是Efficient Neural Architecture Search方法，主要是爲了解決之前NAS中無法完成權重重用的問題，首次提出了參數共享Parameter Sharing的方法來訓練網絡
2021-03-23 12:54:29
8