論文閱讀(6)

LightTrack-京東數字科技

LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking

作者:

摘要

此篇文章中提出新的有效的輕便網絡,稱爲LightTrack,用於在線human pose tracking。提出的框架對自上而下的posetracking通用,快於現存的線上線下方法。單人姿勢跟蹤(SPT)和視覺對象跟蹤(VOT)被整合到一個統一的功能實體中,可通過可更換的單人姿勢估計模塊輕鬆實現。整合單人pose tracking和多人重識別。利用object tracking橋接keypoints tracking。同時提出一個孿生圖卷積網絡用於human pose matching作爲pose tracking systerm中的一個重識別的模塊。對比其他的Re-ID模塊,用graph表示human joints matching。基於skeleton的表示有效捕捉human-pose-similarity且計算量小。引進human-drifting對相機輕微抖動魯棒。這是第一篇在線從上到下的human-pose-tracking框架,所提出的框架足夠通用已適合其他姿勢估計器和候選匹配機制。

code:https://github.com/Guanghan/lighttrack

 

introduction

VOT視覺特徵北kernel或CNN feature map隱士表示,此方法中跟蹤pose以顯示方式遞歸更新bounding box和對應的pose,從keypoints顯示特徵推斷目標的bounding box region。將ketpoints視爲顯示特徵的好處:(1)顯示特徵是human相關的和可解釋的,且與bounding box 位置有強的和穩定的關係;(2)pose估計和tracking需要在第一個位置預測出human-pose,充分利用預測的keypoints在tracking中可以獲得ROI region,幾乎是free的,這個機制使得在線跟蹤可能實現;(3)它自然的保持候選的id,可以緩解數據相關的負擔。即使需要數據關聯,也可以重新使用姿勢特徵進行基於骨架的姿勢匹配。Single Pose Tracking (SPT) and Single Visual Object Tracking (VOT)可以合併爲一個功能塊,通過替換單人pose估計模塊容易實現。

(待續)

 

Efficient Ladder-style DenseNets for Semantic Segmentation of Large Images

《對於大圖像語義分割的有效階梯式DenseNets》

作者:克羅地亞

摘要:

語義分割的過渡被GPU的嚴格內存限制。卷積反向支持所需的特徵映射緩存的範圍甚至對形狀尺寸大的Pascal圖像提出了重大挑戰,同時當源分辨率在百萬像素範圍內時需要仔細考慮體系結構。爲了處理這些關注點,提出一個新的基於Densenet的階梯式結構,具有高建模功率和非常精簡的上採樣數據通路。同時提出通過利用DenseNet特徵提取器的固有效率來大幅減少特徵映射緩存的範圍。結果與當前最好方法相比,參數量減少,性能好,並且允許在百萬分辨率上訓練。訓練數據:Cityscapes,Pascal VOC2012,CamVid,ROB2018,從預測精確度和速度都超過當前最好方法。

問題:

語義分割過程中產生的計算量和參數量對GPU的內存產生挑戰;語義分割結構對圖像分辨率的挑戰,一般是固定的分辨率,無法擴展。

現有硬件的現存大小限制語義分割方面利用新的網絡結構訓練新的算法的潛力。

方法:

利用Densenet固有效率減少特徵映射緩存;設計新的基於Densenet的階梯式結構,建模效率提高,包含精簡的上採樣數據通路。

效果:

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章