原创 Spack:軟件包管理的終極解決方案 以 unzip 無sudo權限安裝爲例

Spack 是一個高度可配置的軟件包管理工具,旨在支持各種軟件棧的安裝和管理。儘管最初是爲高性能計算設計的,但 Spack 的靈活性和擴展性使其也能在多種計算環境中派上用場,包括個人電腦和雲基礎設施。 初始化和配置 在 Ubuntu 下的

原创 2021 BDCI 華爲零售商品識別競賽一等獎方案分享

【GiantPandaCV導語】上學期快結束的時候參加了華爲和CCF組織的零售商品識別的比賽,隊伍名稱爲GiantPandaCV隊,比賽大約持續了兩個月,期間從開始摸索MindSpore框架,配置環境,上手ModelArts花費了不少功夫

原创 當可變形注意力機制引入Vision Transformer

【GiantPandaCV導語】通過在Transformer基礎上引入Deformable CNN中的可變性能力,在降低模型參數量的同時提升獲取大感受野的能力,文內附代碼解讀。 引言 Transformer由於其更大的感受野能夠讓其擁有更強

原创 CeiT:訓練更快的多層特徵抽取ViT

【GiantPandaCV導語】來自商湯和南洋理工的工作,也是使用卷積來增強模型提出low-level特徵的能力,增強模型獲取局部性的能力,核心貢獻是LCA模塊,可以用於捕獲多層特徵表示。 引言 針對先前Transformer架構需要大量額

原创 BoTNet:Bottleneck Transformers for Visual Recognition

【GiantPandaCV導語】基於Transformer的骨幹網絡,同時使用卷積與自注意力機制來保持全局性和局部性。模型在ResNet最後三個BottleNeck中使用了MHSA替換3x3卷積。屬於早期的結合CNN+Transformer

原创 CvT: 如何將卷積的優勢融入Transformer

【GiantPandaCV導語】與之前BoTNet不同,CvT雖然題目中有卷積的字樣,但是實際總體來說依然是以Transformer Block爲主的,在Token的處理方面引入了卷積,從而爲模型帶來的局部性。最終CvT最高拿下了87.7%

原创 CoAtNet: 90.88% Paperwithcode榜單第一,層層深入考慮模型設計

【GiantPandaCV導語】CoAt=Convolution + Attention,paperwithcode榜單第一名,通過結合卷積與Transformer實現性能上的突破,方法部分設計非常規整,層層深入考慮模型的架構設計。 引言

原创 CNN、Transformer、MLP的經驗性分析

A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP 【GiantPandaCV導語】ViT的興起挑戰了CNN的地位,隨之而來的是ML

原创 知識蒸餾綜述:代碼整理

【GiantPandaCV導語】收集自RepDistiller中的蒸餾方法,儘可能簡單解釋蒸餾用到的策略,並提供了實現源碼。 1. KD: Knowledge Distillation 全稱:Distilling the Knowledge

原创 知識蒸餾綜述:網絡結構搜索應用

【GiantPandaCV導語】知識蒸餾將教師網絡中的知識遷移到學生網絡,而NAS中天然的存在大量的網絡,使用KD有助於提升超網整體性能。兩者結合出現了許多工作,本文收集了部分代表性工作,並進行總結。 1. 引言 知識蒸餾可以看做教師網絡通

原创 知識蒸餾綜述:蒸餾機制

【GiantPandaCV導語】Knowledge Distillation A Suvery的第二部分,上一篇介紹了知識蒸餾中知識的種類,這一篇介紹各個算法的蒸餾機制,根據教師網絡是否和學生網絡一起更新,可以分爲離線蒸餾,在線蒸餾和自蒸餾

原创 知識蒸餾綜述: 知識的類型

知識蒸餾綜述: 知識的類型 【GiantPandCV引言】簡單總結一篇綜述《Knowledge Distillation A Survey》中的內容,提取關鍵部分以及感興趣部分進行彙總。這篇是知識蒸餾綜述的第一篇,主要內容爲知識蒸餾中知識的

原创 【知識蒸餾】Knowledge Review

【GiantPandaCV引言】 知識回顧(KR)發現學生網絡深層可以通過利用教師網絡淺層特徵進行學習,基於此提出了回顧機制,包括ABF和HCL兩個模塊,可以在很多分類任務上得到一致性的提升。 摘要 知識蒸餾通過將知識從教師網絡傳遞到學生網

原创 【知識蒸餾】Deep Mutual Learning

【GiantPandaCV導語】Deep Mutual Learning是Knowledge Distillation的外延,經過測試(代碼來自Knowledge-Distillation-Zoo), Deep Mutual Learnin

原创 Towards Oracle Knowledge Distillation with NAS

【GiantPandaCV導語】本文介紹的如何更好地集成教師網絡,從而更好地提取知識到學生網絡,提升學生網絡的學習能力和學習效率。從方法上來講是模型集成+神經網絡結構搜索+知識蒸餾的綜合問題,在這裏使用簡單的NAS來降低教師網絡與學生網絡之