- 文章轉自：微信公衆號「機器學習煉丹術」
- 作者：煉丹兄（歡迎交流，共同進步）
- 聯繫方式：微信cyx645016617
- 論文名稱：「MLP-Mixer: An all-MLP Architecture for Vision」
- 論文鏈接：https://arxiv.org/pdf/2105.01601v1.pdf
「前沿」：最近忙各種各樣的事情，更新慢了。抽空寫一點。這一篇內容很簡單，只需要5min就可以學完。
正文開始
我們提供了MLP-Mixer架構，之後簡稱Mixer。這是一個有競爭力，但是概念和技術都很簡單的結構，並且沒有用到卷積和自注意力。
類似於transformer，Mixer模型的輸入依然是圖片的Patch經過線性映射之後的序列，簡單的說就是embedding。是一個形狀如同“patches x channels” 這樣的一個特徵。其中，我們把圖片embedding之後的序列，叫做token。
下圖是Mixer的宏觀結構圖：
Mixer利用了兩種MLP層：
- channel-mixing MLPs：允許不同channels特徵之間的交流；
- token-mixing MLPs：允許不同空間位置之間的交流。
- 這兩個MLP層是交錯的。
「圖解讀」
- 從圖中caption部分可以看到。“Per-patch Fully-connected”我認爲就是embedding層，比方說把一個32x32x3的彩色patch圖片，全連接映射到128維度的序列。
- Mixer Layer就是文章提出的主要創新結構。其中，每一個Mixer Layer包含一個token-mixing MLP 和一個channel-mixing MLP，這兩個結構都是由兩個全連接層和GELU激活函數組成。
- 我們再來看上圖的上面部分，體現了Mixer Layer的細節：首先，假設一個圖片被分成了9個patch，然後每一個patch經過embedding，變成了一個128的向量。那麼原圖經過embedding，最終得到的是9x128這樣的一個矩陣。
- 這個矩陣先經過LayerNorm，相當於是在128這個維度上進行歸一化；
- 然後矩陣經過轉置，變成128x9的樣式；
- 經過第一個全聯接層，這個MLP應該就是channel-mixing了，因爲是對9這個patch維度進行計算；
- 然後再轉置成9x128，再進行layer norm；
- 然後token-mixing channels，在128這個spatial維度上進行計算；
- 中間加了兩個skip connection。
「這裏，我們可以發現，整個結構確實非常簡單，回頭試試效果去。」