Adaptively Connected Neural Networks
Paper link:
Adaptively Connected Neural Networksarxiv.org
Code link:
wanggrun/Adaptively-Connected-Neural-Networksgithub.com
Abstract
本文提出了一種新的自適應連接神經網絡(ACNet)，從兩個方面對傳統的卷積神經網絡(CNNs)進行了改進。首先，ACNet通過自適應地確定特徵節點之間的連接狀態，在處理內部特徵表示時可以靈活地切換全局推理和局部推理。從這個角度來說，現有的很多CNN模型，經典的多層感知器MLP以及最近（2017）提出的NLN（Non-local Neural Networks），都是ACNet的特殊形式。其次，ACNet還能夠處理非歐幾里德數據（ non-Euclidean data，關於非歐幾里得數據，下文會有解釋)。實驗證明，ACNet不僅在分類，檢測，分割任務上都有SOTA表現，而且還可以克服傳統MLP和CNN的一些缺點。
Introduction
在神經網絡的發展過程中，有兩大類代表類型：第一種是傳統的多層感知器（MLP），由輸入層，輸出層和隱層構成。通過BP算法，使得網絡能有擬合複雜數據的能力。但是MLP有很大的缺陷，在隱層中的每個神經元節點權重不共享，因此MLP的網絡參數往往數量龐大，在訓練階段容易過擬合。而且，MLP難以表示二維數據的空間結構。
一個簡單的MLP模型
隨着深度學習的發展，CNN卷積神經網絡出現了，CNN能夠實現權重共享，局部特徵提取，在MLP的基礎上實現了很大的提升，但是卷積仍然有兩個固有的缺點，一方面，卷積只能在相鄰像素點之間進行特徵提取，神經網絡各層內部的卷積運算不具備全局推理的能力，因此，如果有兩個目標具有相似的外觀，對於卷積來說，很難分辨。如下圖所示，對於具有相似外觀特徵的椅子和沙發，只基於局部的特徵，很容易得到錯誤的結論；另一方面，卷積無法處理非歐幾里得數據，因爲卷積依賴的是有相鄰的像素點，這種無序的，散亂的數據形式，對卷積是一個挑戰。
爲了解決CNNs中的局部性問題，最近提出的非局部網絡（Non Local NN）將全局依賴關係強加給所有特徵節點，但是作者認爲，完全的非局部網絡，有時適得其反，會造成退化，如下圖所示，如果只基於局部推理，dog很容易被識別，但是加上全局推理後，反而被錯分爲sheep了，隨後作者也在實驗部分證明，隨着網絡非局部性的增加，ImageNet-1k分類任務中的訓練和驗證精度都會降低。作者認爲這種下降是由於過度全局化造成的。
通過以上的實驗結果，作者認爲，局部信息和全局信息需要共同考慮，即從圖像感知和像素感知的角度來共同考慮全局和局部推理。因此，怎樣保持一個局部和全局的平衡，既不過度局部化又不過度全局化是最大的挑戰。本文提出了ACNet，一個簡單通用的自適應連接網絡，在MLP，CNNs上取長補短，自適應的捕捉全局和局部的關係依賴。ACNet首先定義了一個基本單元node。如下圖所示，node可以是一張圖片中的一個像素點；可以是一段音頻中的採樣；可以是一個圖結構中的一個節點等等。
給定輸入數據，ACNet自適應地訓練搜索每個節點的最優連接，連接關係和連接之間的關係可以用下式表示：
在ACNet中，要有一個這樣的意識，不同節點是自適應連接的，因此，有些節點可能是自己推測的，有些節點可能與它的鄰域有關，而其他節點則具有全局視野。從這方面講，如下圖所示，ACNet可以看做是MLP，CNNs等的綜合。通過學習不同類型連接的重要性程度來搜索最優連接是有差異的，可以通過反向傳播來優化。
實驗證明，ACNet在ImageNet-1K上top-1error比ResNet更低
ACNet與ResNet在ImageNet-1K實驗對比
Background Knowledge
- non-Euclidean data（非歐幾里得數據）
*部分內容參考以下文章，侵刪
https://blog.csdn.net/imsuhxz/article/details/91361977
數據類型可以分爲兩大類，分別是：歐幾里德結構數據(Euclidean Structure Data) 以及 非歐幾里德結構數據(Non-Euclidean Structure Data)
歐幾里得數據，最重要的特點就是排列整齊，如下圖所示，一個像素看做一個節點的話，每個節點都是排列整齊，有序組合。這種排列方式有利於卷積的操作，能夠很好的提取特徵，而且不同的數據樣本之間，可以根據這種整齊的排列方式，輕鬆計算距離，最直接的辦法就是利用歐式距離。
歐幾里得數據結構
n維空間的歐氏距離公式
非歐幾里德數據，最大的特點就是排列不整齊，對於數據中的某個節點，很難定義或找到相鄰節點，因爲相鄰節點的位置，數量都是隨機的。由於這種隨機和不確定性，使得卷積操作變得困難，而且難以定義出歐氏距離。最常見的非歐幾里德數據有圖（Graph）和流形數據，如下圖所示：
圖結構
流形數據
ACNet（Adaptive-Connected Neural Networks）
本章節首先介紹一下ACNet的公式表示，然後說明一下ACNet跟MLP，CNNs之間的關係，最後介紹一下ACNet的訓練測試和實現細節。
- ACNet的公式表示（以圖像處理爲例）
假定x爲輸入圖片數據，那麼最終的輸出可以用下式表示：
其中，yi表示第i層的輸出節點，j是所有可能與i層節點相關的節點，前文說過，與一個節點有關的節點來自三個方面： 來自第i層的節點，i層節點的相鄰節點，任意層的節點（{the i-th node itself}, {the neighborhood N(i) of the i-th node}，{all possible nodes}），這正好對應三種推理模式：自轉換，局部推理，全局推理。
在每一種模式前，都對應一個權重，如上式中的α，β，γ，分別對應每一種模式的重要程度。在本文中，作者強制定義α+β+γ=1，自然每個權重的範圍就在[0,1]，那麼以α爲例，可以用下式表示：
這裏特別說一下第三項，j的節點來自任意層，這就等價於一個全連接了，算力上的消耗肯定比較大，而且參數很多，可能有過擬合的風險。爲了解決這個問題，作者在論文中提出，三式中的x在喂入公式進行計算之前，首先通過平均池化進行降採樣。最後得到的y通過激活函數進行激活，激活函數的組合形式爲BN+ReLU。
2. ACNet與CNNs的關係
假定輸入x以tensor表示爲（C,H,W），則Xi表示其中的一個像素點，yi表示一個像素點的輸出，那麼一個3x3的卷積可以表示爲：
其中，
- 省略了非線性激活函數f，它不影響公式的推導過程。
- i, j ∈ [1, H × W]
- S表示一個節點的八個相鄰節點的集合，S = {i -W -1, i-W, i-W + 1，i, i + 1, i + W-1，i+W , i + W + 1}
- 這跟ACNet的式二是一樣的
3. ACNet與MLP的關係
MLP的公式表示與上文相似，不同的是，節點的集合不是侷限在八個，而是不同節點之間的線性組合，S = {1, 2, 3, . . . , H × W}
綜上，ACNet可以看作是CNN和MLP的純數據驅動組合，充分挖掘了這兩個模型的優勢。讓我們再看一下ACNet的公式，如果置α=0，β=1，γ=0，ACNet就是普通卷積的表現形式；同理如果α=0，β=0，γ=1，ACNet就是MLP的表現形式。
更爲重要的是，ACNet通過學習α，β，γ的值，實現模型的動態切換，這種模式允許我們構建一個更豐富的層次結構，自適應地組合全局和本地信息。
4. ACNet對非歐幾里得數據的處理
在背景知識中提到，所謂的非歐幾里德數據主要有兩種，Graph圖結構和流形結構。非歐幾里德數據是沒有非結構化的，不是常規意義的排列整齊。比如，在歐幾里德數據中，節點i的相鄰節點可以表示爲N(i) = {i-W-1, . . . , i + W + 1}，分別表示{upper left, ..., low right }，但是在非歐幾里德數據中，沒有這種結構化的表示，而且每個節點的相鄰節點數量是不固定的，因此，這樣的結構就無法很好的直接利用上述公式。對於Vij來說，在歐幾里德數據中，每個值是不同的，而在非歐幾里德數據中，數據是共享的，因此會削弱數據的表達能力。爲了解決這些問題，對於非結構化的數據，提出了下列公式：
其中，U,V,W是在j中所有的節點間共享的，這與1x1卷積思想有些類似。
5. Training & Inference
設Θ爲網絡參數集合(如卷積和全連接權重)，Φ是一組控制參數,控制網絡體系結構。
在ACNet中，參數可以表示爲：
Φ = {λα, λβ, λγ}
損失函數可以表示爲：L(Θ, Φ)，Θ 和Φ可以通過BP聯合訓練優化
Experiments
- 在ImageNet-1K上的表現
- 可視化
ACNet在ImageNet上訓練生成具有不同類型推理的節點的可視化。用黃色繪製的一個節點表示它是來自前一層的全局推理的輸出(即，它連接到前一層的所有節點)，而相對的黑色節點表示來自前一層的局部推理的輸出。
Conclusion
本文提出了一個概念上通用且功能強大的網絡-ACNet，它可以通過學習不同模型的參數，動態切換通用數據(即歐幾里德數據和非歐幾里德數據)的全局和局部推理。其次，，ACNet是第一個既能繼承MLP和CNN的優點，又能克服它們在各種計算機視覺和機器學習任務上的缺點的網絡。