CVPR-2020筆記 | 文末送書

目錄
(.)中的數字表示數量。

• 教程(4)
• 獲獎論文摘要(3)
• 可控圖像合成(2)
• 不平衡樣本處理(2)
• 多任務學習(1)
• 表示學習(2)
• 自我監督學習(2)
• 半監督學習(2)
• 弱監督學習(用於語義分割)(3)
• 目標檢測(2)
  v知識提煉(三)
  
• 數據擴充(4)
• 優化(3)
• 評價與概括(3)
• 不確定度估計(3)
  [Tutorial | Sun.] How to write a good paper? — Bill Freeman (MIT, Google)
  視頻：(https://www.youtube.com/watch?v=W1zPtTt43LI&t=467s)
  題目：如何寫一篇好論文
  
  
  
• 爲什麼它很重要？一篇有創意的，原創的，非常強的論文會比那些還可以的、糟糕的論文更影響你的職業生涯：讓你的努力變得有價值。
• 陳述你的問題，讓讀者知道你解決的問題是什麼；其他的解決方案是什麼，爲什麼其它方案不行；解釋你自己的解決方案以及爲什麼它更好；用簡單的例子傳達主要思想；在實驗中進行合理的比較；最後總結一下你的成果會帶來什麼應用或貢獻，或者它如何改變我們處理問題的方式；還有以“未來的工作”結束是個壞主意(即，我們想做，但未能在截止日期前及時做完)。
• 使你的論文易於閱讀(在匆忙中仍能學到要點)；寫出簡潔的句子(即，不要冗長！)；數字和標題應該是獨立的。
• 積極的語調-要和藹可親：不要過度推銷，隱藏缺點和貶低他人的工作；誠實地指出侷限性。
• 一個好標題很重要。
• 會議期刊拒絕論文的理由：沒有兌現論文的承諾；遺漏重要參考文獻；太多或令人難以置信的結果；寫得不好；陳述不正確；寫得很好但卻枯燥乏味的論文；雖然新穎精彩容易指出缺點的論文。
• 好的寫作就是重新寫作。所以要早點開始寫論文。
  [Tutorial | Sun.] All You Need to Know About Self-Driving by Uber ATG
  鏈接：(http://www.allaboutselfdriving.com/)
  題目：由Uber ATG提供你想了解的關於自動駕駛的信息
  本教程涵蓋了自動駕駛管道中的主要技術組件，包括不同傳感器模式的數據預處理、三維物體檢測的感知、長期預測、行駛軌跡規劃、轉向和加速等控制以及車輛與車輛之間的通信。這裏我只記錄了傳感器的形態和感知。
  傳感器模態和感知(3D物體檢測)
  
  
  
  
  
  
  
• 激光雷達(3D)：
• 點雲表示，如3D體素(3D卷積有效的特徵提取；昂貴的計算和內存消耗；CVPR'18的VoxelNet）：https://arxiv.org/abs/1711.06396
• 距離視圖(保留全範圍信息；由於3D信息丟失而導致鄰域不真實；CVPR'19的LaserNet)：https://arxiv.org/abs/1903.08701
• 鳥瞰圖(2D卷積的有效特徵提取；內存消耗昂貴；CVPR'19的PointPillars)：https://arxiv.org/abs/1812.04244
• 3D點集(精確定位；昂貴的計算和內存消耗；多尺度特徵的次優關鍵點；CVPR'19的PointRCNN)：https://arxiv.org/abs/1812.04244
• 這些表示大多是稀疏的，可以通過使用稀疏卷積網絡或稀疏塊網絡(CVPR'18)來加速。：https://arxiv.org/abs/1801.02108
  
  
• 攝像機(2D)：比激光雷達便宜。將2D輸入/特徵/輸出轉換爲3D，然後使用現有的探測器。
• 轉換爲3D輸出：2D關鍵點預測+3D盒子模板匹配=3D盒子輸出(性能不理想)；
• 轉換3D輸入：2D圖像+深度估計=“僞激光雷達”(SoTA基於圖像的3D感知；由於需要深度模型而產生的額外計算成本；ICLR'20的僞激光雷達++和CVPR'20的E2E僞激光雷達)：https://arxiv.org/abs/1906.06310與https://arxiv.org/abs/2004.03080
• 轉換到3D特徵：根據相機內部特性將2D特徵映射到3D(鳥眼)特徵(無需深度估計；深度模糊導致的3D特徵誤差；BMVC'19的正交特徵轉換)：https://arxiv.org/abs/1811.08188
• 傳感器融合-激光雷達+攝像機：融合可以在輸入/特徵/輸出中以級聯或並行的方式發生。
• 傳感器融合-雷達(幾何結構)+攝像機(性能無法與基於激光雷達的系統相匹配)；雷達(作爲速度)+激光雷達。請參閱arXiv'20的“Exploiting Radar for Robust Perception of Dynamic Objects”。
• 高清地圖：語義信息。主要用於運動規劃系統。幾何方面，請參見CoRL'18的HDNet（http://proceedings.mlr.press/v87/yang18b/yang18b.pdf?utm_source）；作爲rasters，請參閱WACV'20的Uncertainty-aware Short-term Motion Prediction of Traffic Actors for Autonomous Driving(https://arxiv.org/abs/1808.05819)；作爲車道圖(更直觀但更復雜的模型設計)，請參見CVPR'20的VectorNet（https://arxiv.org/abs/2005.04259）。
  
  [Workshop | Mon.] Scalability in Autonomous Driving
  題目：自動駕駛的可擴展性
  鏈接：https://sites.google.com/view/cvpr20-scalability
  
  
  
  
  
  
• 第一名的解決方案報告令人印象深刻，他們花了2個月才獲得第一名。他們的系統中的許多組件似乎都得到了集中的優化，而且還應用了一些新的技巧。
  [Keynote]Raquel Urtasun，Uber ATG的 Scalable Simulation for Self Driving
  
• 仿真可用於訓練和安全評估。完整的模擬包括狀態(參與者行爲)、幾何體(參與者和環境三維模型)和觀察(自動駕駛汽車感知的激光雷達和攝像機表示)。
  
  
• 狀態：ActorSim(http://makro.ink/actorsim/) (現實性和多樣性)。
• 幾何狀態+激光雷達傳感模擬：CARLA(https://carla.org/)(設計3D參與者資產耗時；環境多樣性有限；不切實際；CoRL'17)；Blensor(https://www.blensor.org/)(與CARLA的缺點相同；增強模擬激光雷達的真實感，但不是實時的，需要材料特性；ISVC'11)；數據驅動方法(收集真實世界傳感器數據和將渲染應用於模擬器的數據)：越野激光雷達(ICLR'18,https://www.youtube.com/watch?v=t5a6nxE9N1k)和AADS(昂貴且規模有限,https://arxiv.org/abs/1811.07112)；LiDARsim(解決上述缺點；Raquel等人的CVPR'2020,http://openaccess.thecvf.com/content_CVPR_2020/html/Manivasagam_LiDARsim_Realistic_LiDAR_Simulation_by_Leveraging_the_Real_World_CVPR_2020_paper.html)。
• 幾何體狀態+相機感測模擬：按模擬引擎分類，神經渲染(自動化但沒有照片級真實感；僅單傳感器視圖；無幾何體感知)和照片級真實感相機模擬(解決上述缺點；Rong等人的GeoSim，雖然尚未發佈，但GeoSim的結果看起來很好)。
  [Keynote] Andrej Karpathy, Tesla
  

在生產中部署“HydraNet”：8個攝像頭連接着48個網絡；1000個不同的預測；70000個GPU。

• 用端到端鳥瞰預測代替傳統的圖像拼接。
• 特斯拉的可擴展性挑戰：在50多個標籤上反覆“大海撈針”(特殊情況)；模型的不確定性仍然非常具有挑戰性；駕駛時沒有高清地圖(不需要超時維護)。
• Q：爲什麼不使用高清地圖？它們不是爲安全功能提供了強有力的先例嗎？爲什麼要從頭開始重建？
• A：我們仍然使用高清地圖，但長期來看是不可擴展的，如果高清地圖沒有及時更新，模型可能會做一些蠢事。
  [Tutorial | Mon.]IBM Research的 Zeroth Order Optimization
  題目：IBM Research的0階優化
  鏈接：https://sites.google.com/umich.edu/cvpr-2020-zoo
  
  
  
  
  
• 基於arXiv'20的“A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning”:https://arxiv.org/abs/2006.06224
• 和它的名字一樣，零階意味着不能從模型中獲取梯度信息，一階(Jacobian)和二階(Hessian)。
• 想法：ZOO使用“有限差分法”(或2點法來估計梯度），並使用現成的基於梯度的優化器來更新模型。
• 與貝葉斯優化(BayesOpt)相似的部分:都是處理黑箱優化問題的算法,而非可微的)。
• 與GPs的貝葉斯優化不同的是：GPs仍然需要一階信息來更新其核心參數，而ZOO則不需要。
• 與強化學習相似(RL中使用的策略梯度)：都使用估計的梯度來更新模型。
• 不同於強化學習的部分：強化學習仍然可以訪問模型的一階信息(即強化學習仍然需要模型的Jacobian更新其參數)。
• 使用ZOO的流行領域：對抗ML，如黑盒對抗***(“ZOO: Zeroth Order Optimization Based Black-box Attacks to Deep Neural Networks without Training Substitute"顯示基於ZOO的黑盒***可以與MNIST、CIFAR-10和ImageNet上的白盒***一樣有效)和模型預測解釋(類似於***)。也可以作爲超參數優化、RL策略搜索等算法的替代方案：https://arxiv.org/pdf/1708.03999.pdf
  [Tutorial | Mon.] From NAS to HPO: Automated Deep Learning
  [Tutorial | Mon.]從NAS到HPO：自動化深度學習
  鏈接：https://hangzhang.org/CVPR2020/
  介紹AutoGluon工具箱-張杭：https://youtu.be/XdaFprz3ECE
  
  自動聯合超參數和網絡架構搜索(用戶仍然需要定義搜索空間)。兼容其他DL庫，如Pytorch！
  
  
  
  
  
  
• 工作流程：
• (1)使用AutoGluon爲網絡、優化器等分配自定義搜索空間；
• (2)將網絡和優化器傳遞給訓練函數。
• (3) 把訓練功能傳遞給調度器，就可以開始了。
• 內置的超參數優化(HPO)(BayesOpt with GP)/NAS(ENAS，ProxylessNAS)/早期停止算法。HPO/早期停止算法在Cedric Archambeau的教程“Automated Hyperparameter and Architecture Tuning”中有介紹：https://www.youtube.com/watch?v=pB1LmZWK_N8&feature=youtu.be
  AutoML for TinyML with One for All Network(ICLR'20)
  鏈接：https://www.youtube.com/watch?v=fptQ_eJ3Uc0&feature=youtu.be
  
  
• 設備感知的NAS挑戰：工程的設計(爲不同的硬件平臺定製模型以達到最佳的準確性和效率的權衡可能相當昂貴)和昂貴的訓練資源。
• 主要思想：將傳統NAS的訓練(內環)和搜索(外環)分離，搜索後無需再訓練直接部署。
  
  
  解決方案-“漸進收縮”(訓練階段)：爲了防止不同子網之間的“干擾”，它通過從全網到小子網逐步訓練，跨越分辨率、核尺寸、深度和寬度四個維度。
  
  
  

漸進收縮是如何工作的？見下圖和說明。


第一個圖對不同分辨率的圖像進行批量採樣；第二個圖先訓練較大的核，然後再訓練較小的核。5x5核函數由7x7核函數的5x5權值中心再通過25x25變換矩陣進行投影，然後通過9x9變換矩陣，從5x5內核的3x3權重中心投影到3x3的核。

• (第一個圖)每塊體系的深度由4逐漸縮小到2;(第二個圖)逐漸縮小寬度
  解——搜索階段：訓練階段結束後，從訓練後的全網絡中迭代抽取子網絡，對測試集進行推理，得到其準確度。他們使用的搜索算法是進化策略。
  
  
  
• 結果：比EfficientNet快2.6倍；比MobileNetV3快1.5倍；新的SoTA在移動設置下的ImageNet精確度高達80%(<600 MACs)。50+OFA預訓練模型和訓練代碼發佈（https://github.com/mit-han-lab/once-for-all）！也有使用Jupyter Notebook的實踐教程（https://github.com/zhanghang1989/AutoGluon-Tutorial-CVPR2020/blob/master/ofa-tutorial/ofa.ipynb）。
  相關論文-新SoTA Backbones
  
• RegNet: Designing Network Design Spaces(https://arxiv.org/abs/2003.13678)。該網絡不是查找單個網絡實例(如NAS)，而是查找網絡總體。其有一些發現與目前網絡設計實踐不符，但比gpu上的EfficientNet快5倍:https://arxiv.org/abs/2003.13678
• ResNeSt: Split-Attention Networks(https://arxiv.org/abs/2004.08955)。在ImageNet上，81.1%的Top1準確率，比之前的最佳ResNet變體高出1%以上。通過簡單地用ResNeSt-50替換ResNet-50主幹，MS-COCO上FasterRCNN的MAP從39.3%提高到42.3%；ADE20K上DeeplabV3的mIOU從42.1%提高到45.1%。
• FBNetV3: Joint Architecture-Recipe Search using Neural Acquisition Function(https://arxiv.org/pdf/2006.02049.pdf)。提出了一種聯合搜索網絡結構及其相應的超參數訓練的聯合算法。
  會議結果
  
  
  紅色方框顯示了今年相對較新的主題。
  好論文=3D計算機視覺+圖形+強勁成果
  [最佳論文獎]牛津大學：Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild(https://arxiv.org/abs/1911.11130)。其主要思想是以神經繪製方式學習表示(物理優先)。爲了防止在渲染之前退化中間結果(深度，反照率)，在生成中間結果時強制使用“對稱性”。不需要監督，對測試圖像和視頻有着驚人的泛化。
  
  
  [最佳學生論文獎] BSP-Net: Generating Compact Meshes via Binary Space Partitioning(https://www.youtube.com/watch?v=9-ixexpjN-8)。本文通過一個可微BSP樹學習了一個表示三維形狀的網絡，因此與以前的方法相比，它們可以獲得更緊湊(低多邊形)的三維網格。
  [最佳學生論文榮譽獎] DeepCap: Monocular Human Performance Capture using Weak Supervision(https://www.youtube.com/watch?v=C4eDrvJ9aBs)。重建整個三維人體，只需一個RGB視頻輸入。他們解決了以前的挑戰，包括服裝，深度模糊和時間不一致。這些研究結果看起來很有希望在電影業、增強現實和自由視點渲染中實現令人興奮的應用。該方法依賴於多視圖圖像、二維監控(如2D姿態+前景遮罩)和參數化三維人體模型模板。
  
  
  DeepCap。(上)方法概述；(下)三維人體模型的三個組成部分。
  
  
  DeepCap的三維人體在遮擋部分工作得很好！一旦3D實體被重建，我們就可以將紋理添加到3D實體中作爲AR用例。
  手工挑選的會議文件
  在這裏，我將重點放在對各種問題有普遍性、簡單性和有效性的想法上，此外還選取了一些具體應用的論文。
  可控圖像合成
  Explorable Super Resolution(https://www.youtube.com/watch?v=RE9VVzSLHV4)允許用戶對給定的低分辨率輸入探索無限可能的高分辨率解決方案，其核心貢獻是一致性增強模塊(CEM)，它使得在低分辨率輸入下采樣時，幾個可能的高分辨率輸出是一致的。CEM不需要任何訓練，可以應用於任何SR模型，以提高一致性。
  
  
  
  Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning(https://www.youtube.com/watch?v=l1KCgjJ2Bcc)。對比學習是今年的熱門話題，大多數的對比學習方法都是在圖像分類任務中進行自監督學習的，然而，該論文提出使用對比學習通過增強去糾纏表示來生成人臉：改變一個潛在變量而保持其他變量不變，並強調生成的人臉圖像上的差異只與該潛在變量有關。
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  

處理不平衡數據
Unbiased Scene Graph Generation From Biased Training (Oral).(https://www.youtube.com/watch?v=hqDB45bRv54)。傳統學習受到數據偏差的影響，本文提出了一種基於反事實思維的無偏推理，即使訓練仍然存在數據偏差，但無偏預測可以通過減去盲預測和非盲預測之間的概率分佈得到。


Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax(https://www.youtube.com/watch?v=Lp72nHceTZQ)。在長尾數據集上簡單地訓練一個對象檢測器將導致性能的顯著下降。作者觀察到，對於每個對象類，特徵抽取器中的權重範數與訓練實例數呈正相關性(即尾類的權重範數較小)。權重不平衡的影響主要是由標準的softmax引起的，因此，他們建議將訓練實例數相近的類進行分組，並開發一個“分組”的softmax，這樣尾類的權重範數不受頭類的影響。這個想法很直觀，很好，但是我們能不能把這種“離散”的羣體過程變成更“連續”的過程(比如focal損失)？


多任務學習
LSM: Learning Subspace Minimization for Low-level Vision (Oral)(https://www.youtube.com/watch?v=4zOMGz38vBo)。許多低層次視覺任務可以表述爲最小化數據項和正則項，然而正則化術語通常是特定於任務的。爲了統一它們，該論文建議將解表示爲基向量的線性組合，並求解組合係數(直覺：PCA的“特徵面”)。該框架實現了參數完全共享的多任務學習，它們在四個低級任務(交互式圖像分割、視頻分割、立體匹配和光流)上實現SoTA，具有更小的模型尺寸、更快的訓練收斂速度、實時的推理時間以及在不可見的領域更多的泛化。



表示學習
Towards Backward-Compatible Representation Learning (Oral)(https://www.youtube.com/watch?v=hnexF0rrDUE)解決了後向兼容問題，以基於嵌入的圖像檢索爲例，在更改DNNs的新版本時，需要在離線會話期間重新計算圖像嵌入量，然而當圖像數量達到數十億時，處理它可能需要一週的時間。我們可以在不重新計算嵌入的情況下切換到DNNs的新版本嗎？答案是肯定的。論文建議使用：1)舊版本的分類器和舊版本的數據一起訓練新版本的嵌入；2)同時使用新版本的數據訓練新版本的分類器，它比從舊版本的嵌入中提取特徵要好。

Circle Loss: A Unified Perspective of Pair Similarity Optimization (Oral).(http://openaccess.thecvf.com/content_CVPR_2020/papers/Sun_Circle_Loss_A_Unified_Perspective_of_Pair_Similarity_Optimization_CVPR_2020_paper.pdf)作者簡單地給出了三重態損失中正對和負對的兩個權值(超參數)，從數學上證明了這種簡單的修改可以在人臉識別、reID和圖像檢索等需要學習相似性的任務上獲得更好的性能。

自我監督學習
Momentum Contrast for Unsupervised Visual Representation Learning(https://paperswithcode.com/paper/momentum-contrast-for-unsupervised-visual)。目前，自我監督表示學習的領域主要是基於對比的方法(本文就是其中之一，由Facebook提出)，然而，還有一些其他的論文，如SimCLR、BYOL和最近的SwAV(在視圖之間交換任務；也是由Facebook提出的)都勝過這種方法(但是它們的思想是相似的)。

PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models(https://paperswithcode.com/paper/pulse-self-supervised-photo-upsampling-via)。最近，這篇文章在Twitter上被廣泛討論，低分辨率奧巴馬的面部圖像會被提升爲白人的面部圖像(反映數據集偏差或“ML公平性”問題)。可以參閱本文：https://thegradient.pub/pulse-lessons/。
半監督學習
Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations (https://arxiv.org/abs/2003.12237)。提出了一個對未標記數據進行區分性和多樣性預測的正則化項，通過最大化批處理矩陣的Frobenius範數等價於最大化其核範數(近似於矩陣秩)。該方法改進了半監督學習，實現了開放域識別問題的SoTA，簡單有效！

Self-training with Noisy Student improves ImageNet classification(https://paperswithcode.com/paper/self-training-with-noisy-student-improves)：ImageNet上的新SoTA。
弱監督學習(用於語義分割)
弱監督學習的一個典型任務是語義分割。常用的方法是利用圖像分類器產生的類激活映射(CAM)作爲語義分割的僞標籤，然而，主要的挑戰是這些凸輪通常是物體的小鑑別部分。讓我們看看下面的文章是如何應對這一挑戰的。
Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation (Oral)(https://arxiv.org/abs/2004.04581)。該方法通過對具有不同變換(如重縮放、圖像翻轉、旋轉和平移)的同一圖像的CAM關注點之間的等變一致性，在弱監督語義分割基準(如PASCAL VOC 2012)上取得了較好的性能。

Weakly-Supervised Semantic Segmentation via Sub-Category Exploration (Poster)(https://openaccess.thecvf.com/content_CVPR_2020/papers/Chang_Weakly-Supervised_Semantic_Segmentation_via_Sub-Category_Exploration_CVPR_2020_paper.pdf)。在閱讀本文時，我發現之前的SoTA-FickleNet(CVPR'19)也很有趣，他們用一種無需訓練的方法來解決上述問題，該方法使用隨機推理將對象的多個判別部分結合起來。
基於圖像標籤的單階段語義分割。
目標檢測
Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection(https://paperswithcode.com/paper/bridging-the-gap-between-anchor-based-and)
Revisiting the Sibling Head in Object Detector(https://paperswithcode.com/paper/revisiting-the-sibling-head-in-object)
知識提煉
Revisiting Knowledge Distillation via Label Smoothing Regularization
What It Thinks Is Important Is Important: Robustness Transfers Through Input
Gradients(http://openaccess.thecvf.com/content_CVPR_2020/html/Chan_What_It_Thinks_Is_Important_Is_Important_Robustness_Transfers_Through_CVPR_2020_paper.html)我們經常看到，教師模式可以通過知識提煉轉化爲學生模式，然而，本文首次表明，在跨任務和跨體系結構的情況下，對抗性魯棒性也可以被轉移！這個想法是使用對抗性損失來匹配教師和學生模型之間的輸入梯度。

Distilling Effective Supervision from Severe Label Noise(https://paperswithcode.com/paper/ieg-robust-neural-network-training-to-tackle)
數據增強
Learn to Augment: Joint Data Augmentation and Network Optimization for Text Recognition(https://paperswithcode.com/paper/learn-to-augment-joint-data-augmentation-and).
Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy(https://paperswithcode.com/paper/rethinking-data-augmentation-for-image-super).
CycleISP: Real Image Restoration via Improved Data Synthesis(https://arxiv.org/abs/2003.07761)。提出了一種更真實的噪聲合成方法，即通過模擬攝像機成像管道來訓練單個圖像去噪模型。該方法可以在原始空間和sRGB空間中生成噪聲和乾淨的圖像對。他們在真實的相機基準數據集上實現了SoTA。


A Physics-Based Noise Formation Model for Extreme Low-Light Raw Denoising(https://www.youtube.com/watch?v=DMDKPRozdeo)。在極低光照條件下合成逼真的噪聲圖像。該論文提出了一種適用於不同攝像機的噪聲參數標定方法，是一個優於使用真實世界配對數據訓練的方法。


優化
Hardware-in-the-Loop End-to-End Optimization of Camera Image Processing Pipelines(http://cvpr20.com/event/hardware-in-the-loop-end-to-end-optimization-of-camera-image-processing-pipelines-2/)。利用無梯度優化方法，通過調整ISP黑盒來優化ISP下游任務的性能。
Optimizing Rank-Based Metrics With Blackbox Differentiation(https://www.youtube.com/watch?v=UtOG3utfd5s)。優化基於排名的指標(如平均精確度和召回率)是很困難的，因爲它們是分段函數(score)且所有地方都具有零梯度。論文提出了最直觀的方法：“平滑”這些損失，並使其可微。

Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks.。該論文提出的將規範化和激活作爲一個單一的層，其性能擊敗了從小批量到大批量設置的所有SoTA規範化技術。
評價與概括
Computing the Testing Error Without a Testing Set(https://www.youtube.com/watch?v=XuDU--076VA)。在ImageNet測試中獲得高精度並不意味着識別問題得到了解決。DNNs的泛化能力隨標記測試集的不同而不同。前一篇文章可以看到，一般化的dnn具有特定的連接模式。本文提出用拓撲描述符來度量連通模式，他們發現這種測量方法與泛化差距有很好的相關性。


High-Frequency Component Helps Explain the Generalization of Convolutional Neural Networks(https://www.youtube.com/watch?v=8H0QQbMFb-k)
Dataless Model Selection With the Deep Frame Potential.
不確定度估計
On the uncertainty of self-supervised monocular depth estimation。比較了自監督單目深度估計的幾種不確定度估計方法，提出了一種將自監督與數據不確定度相結合的新方法。
Scalable Uncertainty for Computer Vision With Functional Variational Inference .
Uncertainty-Aware CNNs for Depth Completion: Uncertainty from Beginning to End.
參考鏈接：https://medium.com/@howardyclo/cvpr-2020-notes-9b3bbd357b2d