《Cascaded Pyramid Network for Multi-Person Pose Estimation》
機構：Face++
源碼：https://github.com/chenyilun95/tf-cpn
效果：COCO 17關鍵點冠軍
1 中心思想
1）面對問題：
在多人姿態估計中，有諸多具備挑戰性問題，如關鍵點遮擋，關鍵點不可見，複雜背景等；文中將這些點稱爲“hard keypoint”
2）本文方案：
A）提出了Cascaded Pyramid Network (CPN)網絡結構，採用top-down模式進行多人姿態估計
B）CPN包含two stages: GlobalNet and RefineNet
C）GlobalNet解決相對容易的關鍵點估計；RefineNet採用online hard keypoint mining loss實現hard keypoint估計
2 CPN結構
1）BackBone
採用ResNet作爲基礎特徵網絡（ResNet50/ResNet101等）；可以理解爲上圖中輸入圖像後的箭頭
2）CPN
A）參考FPN（Feature Pyramid Networks）設計多層級特徵提取網絡–GlobalNet；該網絡採用L2 Loss作爲Loss function
B）在GlobalNet基礎上增加RefineNet，加強對hard keypoint的估計；該網絡採用L2 Loss* 作爲Loss function
3）GlobalNet
A）採用ResNet的不同Stage的最後一個殘差塊輸出（C2，C3，C4，C5）作爲組合爲特徵金字塔；拿ResNet50來說，當輸入大小爲1×3×256×192時：
C2 = res2c（1×256×64×48）
C3 = res3d（1×512×32×24）
C4 = res4f（1×1024×16×12）
C5 = res5c（1×2048×8×6）
這樣就構成特徵金字塔
C2,C3具有較高的空間分辨率和較低語義信息，而C4,C5具有較低空間分辨率和更豐富的語義信息；將他們結合在一起，則即可利用C2,C3空間分辨率優勢定位關鍵點，也可利用C4,C5豐富語義信息識別關鍵點
B）然後各層進行1×1卷積將通道都變爲256
C）將分辨率小的層上採樣一次，在對應神經元相加，輸出P2，P3，P4，P5
D）輸出：對每層，即P2，P3，P4，P5都進行3×3卷積，再生成heatmaps
4）RefineNet
A）對GlobalNet的4層輸出P2，P3，P4，P5分別接上不同個數的Bottleneck模塊
B）將這4路輸出，上採樣到同一分辨率，這裏以P2路（64×48）爲基礎，P3路放大2倍，P4路放大4倍，P4路放大8倍
C）將4路按通道Concat一起，再接bottleneck，最後接輸出層
3 設計理念
在上圖中一些Visible easy keypoints，比如說鼻子，從它會有相對固定的形狀和紋理，且其點周圍具備一些上下文信息，比較容易識別；而對於Visible hard keypoints來說，比如被衣服遮擋的關節點，在沒有上下文信息情況下，人都很難識別是什麼。
那麼人是怎麼樣去看比較難的關節點呢？人可能會無意識地放大或者利用可見點的上下文信息來推斷其他點的信息。有些點是隱藏的，不僅是被衣服遮擋，識別這一類關節點會更難，需要利用更多的上下文信息。
但是怎麼樣做纔可以把看keypoint這個過程體現在卷積神經網絡裏呢。我們很難人爲定義哪些關節點是可見容易關節點，哪些是被遮擋的關節點，哪些是隱藏的關節點。
爲了解決這個問題，我們退而求其次，把人體的關節點，大致分類兩類：簡單的部分和難的部分。用不同的方案去解決簡單點和難點，先解決容易點，再解決難點。在解決難關節點部分時，提供更多的上下文信息，更大的可感受野。
4 Loss
1）GlobalNet Loss就是L2 Loss，沒什麼可說的
2）RefineNet Loss
它與L2是同理的，但是在訓練時，動態地將loss值比較大的幾個channels進行反向學習；個人理解是RefineNet Loss更加關注loss值比較大的點，而這些點往往就是hard keypoint；實驗驗證，回傳前8個loss效果較好
5 效果
