(28) CrossInfoNet: Multi-Task Information Sharing Based Hand Pose Estimation : CVPR 2019

原創 滴水藏海NQZ 2020-06-12 21:48

CrossInfoNet: Multi-Task Information Sharing Based Hand Pose Estimation

CVPR 2019

github : https://github.com/dumyy/handpose

這是一篇關於手部姿態估計的論文。採用兩分支結構，並使用了heat-map guided feature extraction structure。

 

網絡整體結構圖

 

生成的heatmap用於後面的兩分支網絡的優化                            最後通過座標迴歸，實現3D點的預測。

 

 

利用一分支中其他分支的信息 完善另一部分的預測。

loss:

heatmap:   L_{ht}=\sum _{n=1}^{A}\sum _{u,v}\left \| H_n^{a*}(u,v)-H_n^a(u,v) \right \|^2

兩分支：L_{bp}=\sum _{n=1}^{P}\sum _{u,v}\left \| H_n^{p*}(u,v)-H_n^p(u,v) \right \|^2          L_{bf}=\sum _{n=1}^{F}\sum _{u,v}\left \| H_n^{f*}(u,v)-H_n^f(u,v) \right \|^2

 

3D座標： L_{ep}=\sum _{n=1}^P\left \| J_n^p^*-J_n^p \right \|_2^2 

                L_{ef}=\sum _{n=1}^F\left \| J_n^f^*-J_n^f \right \|_2^2

                 L_{a}=\sum _{n=1}^A\left \| J_n^a^*-J_n^a \right \|_2^2

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

【Julia Deep Learning CV】 第一篇 MNIST

                                                                                                                       

java_2005 2020-07-08 00:23:43

CV-梯度下降

GD θnext=θlast−ωf′(θi) \Large \theta_{next} = \theta_{last} - \omega f'(\theta_i) θnext​=θlast​−ωf′(θi​) 直到 f′(θne

wait_for_eva 2020-07-07 20:06:56

CV-色彩空間

色彩三要素 色相：基色 明度：明暗 純度：飽和 其中明度和純度感官差異上有些區分不開，可以藉助如下定義 純度：顏色中灰色含量的多少 亮度：顏色中黑白佔比的多少 因爲明亮和飽和的顏色都會對眼睛有明顯的刺激，反正我是分不太

wait_for_eva 2020-07-07 20:06:56

CNN卷積神經網絡結構遐思

殘缺的神經網絡 卷積神經網絡，是神經網絡的子集，是殘缺的神經網絡。 [a00a01a02a10a11a12a20a21a22]⊙[b00b01b10b11]=[c00c01c10c11] \left[\begin{matrix}a

wait_for_eva 2020-07-07 20:06:56

CV-color

https://nbviewer.jupyter.org/github/forevaer/cv_note/blob/master/1/homework/homework_color.ipynb

wait_for_eva 2020-07-07 20:06:56

Infrared and visible image perceptive fusion through multi-level Gaussian curvature filtering image

圖像融合---簡單認識圖像融合 Image fusion - Simply recognize image fusion 概念   圖像融合（Image Fusion）是指將多源信道所採集到的關於同一目標的圖像數據經過圖像處理和計算機

李伯爵的指间沙 2020-07-07 19:04:25

DeepStream結合OpenCV4實現視頻的分析和截圖（一）

目錄   安裝環境 Deepstream-test4配置文件改寫 調用OpenCV截圖 存疑 其他收穫 前言 本文實現基於test4，基於deepstream-app的更改和代碼更新見DeepStream結合OpenCV4實現視頻的分析和

MOLWH 2020-07-07 16:54:09

ResNet/ResNet-I3D/ResNet-I3D-SlowFast 源碼閱讀

文章目錄0. 前言1. ResNet50-2D2. ResNet-I3D3. ResNet-I3D-SlowFast 0. 前言 目標： 更好的理解2D/I3D/SlowFast模型。 爲了實現MobileNet/Shuff

清欢守护者 2020-07-07 14:47:10

論文瀏覽(11) A Multigrid Method for Efficiently Training Video Models

文章目錄0. 前言1. 要解決什麼問題2. 用了什麼方法3. 效果如何4. 還存在什麼問題 0. 前言 相關資料： arxiv github 論文解讀 論文基本信息 領域：視頻理解 訓練加速 作者單位：FAIR&得克薩

清欢守护者 2020-07-07 14:47:10

論文瀏覽(10) Towards Real-Time Multi-Object Tracking

文章目錄0. 前言1. 要解決什麼問題2. 用了什麼方法3. 效果如何4. 還存在什麼問題 0. 前言 相關資料： arxiv github 論文解讀，翻譯 論文基本信息 領域：多目標跟蹤 作者單位：清華&澳大利亞國立

清欢守护者 2020-07-07 14:47:10

論文瀏覽(9) A Simple Baseline for Multi-Object Tracking

文章目錄0. 前言1. 要解決什麼問題2. 用了什麼方法3. 效果如何4. 還存在什麼問題 0. 前言 相關資料： arxiv github 論文解讀 論文基本信息 領域：多目標跟蹤 作者單位：華科&微軟亞洲研究院 發

清欢守护者 2020-07-07 14:47:08

論文瀏覽(15) Online Action Detection

文章目錄0. 前言1. 要解決什麼問題2. 用了什麼方法3. 效果如何4. 還存在什麼問題 0. 前言 相關資料： arxiv github，這個是作者github repo，但沒寫自己是…… 論文解讀，推薦參考資料 論

清欢守护者 2020-07-07 14:47:08

論文瀏覽(13) Resource Efficient 3D Convolutional Neural Networks

文章目錄0. 前言1. 要解決什麼問題2. 用了什麼方法3. 效果如何4. 還存在什麼問題 0. 前言 相關資料： arxiv github 論文解讀 論文基本信息 領域：行爲識別 作者單位：慕尼黑工業大學&英特爾歐洲

清欢守护者 2020-07-07 14:47:08

論文瀏覽(12) SmallBigNet: Integrating Core and Contextual Views for Video Classification

文章目錄0. 前言1. 要解決什麼問題2. 用了什麼方法3. 效果如何4. 還存在什麼問題 0. 前言 相關資料： arxiv github 論文解讀 論文基本信息 領域：視頻分類 作者單位：商湯&中國科學院深圳先進技

清欢守护者 2020-07-07 14:47:08

論文瀏覽(8) Asynchronous Interaction Aggregation for Action Detection

文章目錄0. 前言1. 要解決什麼問題2. 用了什麼方法3. 效果如何4. 還存在什麼問題 0. 前言 相關資料： arxiv github：有webcam demo可以直接使用，但暫時沒有提供training代碼。 論文解

清欢守护者 2020-07-07 14:47:08