圖像對齊講座—曠世成都研究院 & 數據策略產品經理——阿里講座

劉帥成博士,曠世成都研究院,該院2018年成立,
新加坡國立大學畢業
1
目錄:
1基於傳統算法
2基於深度學習
3基於硬件

Image aligment methods圖像對齊
應用:
圖片拼接:不同視角拍的建築拼成更大的一個畫面,全景圖
去噪,防抖
HDR不同曝光的同一場景,選取不同的曝光區域 拼接
多攝像頭協同工作,一個是長焦,一個是廣角。
視頻防抖。

挑戰:
1 重複特徵:大廈窗口紋理很像,重複紋理
2 弱紋理,無紋理:白色的牆面,海面天空
3 大前景的干擾:有很多路人,視角偏一點,遮擋後面的景象就變化了
4 夜景,噪聲的干擾
5 大視差:視角角度差別比較大時

工業界裏不是關注什麼場景裏效果最好能有多好,而是關心實用中最壞情況匹配的多壞

傳統算法

Homography

3*3的矩陣
限定:只能描述平面運動,或者相機繞光心的純旋轉運動
依賴特徵點;

Meshflow

屬於Mesh warps算法的一個分支。
給定兩幀:t,t-1,
圖像劃分成小格子,算小格字中的特徵點
一個好的特徵點的分佈應該是均勻的全覆蓋在整個圖片畫面,(而不是SIFT這種會附着在梯度大的地方),在檢測不到特徵點的地方用另一個方程賦予它特徵點,密集地區篩選一些
並且也可以解決圖片中深度變化的地方

深度學習方法

Deep Homography

2016
Deep Image Homography Estimation(是supervised的)
訓練方法:隨機裁剪一個框,隨機選四個點,自己放射變換一下,和原來的ground truth作爲樣本來訓練。也就是自己合成兩張圖片
但是,真實場景中,其中人、汽車等兩張圖片會有變化。由下面文章解決
2018
Unsuprvised Deep Homography(Unsupervised)

缺:忽略了運動物體、視差的干擾。
2019
Content-Aware Unsupervised Deep Homography Estimation
提取feature , mask
2
保證其中火車,汽車,噴泉在特徵圖中很少會有特徵點了
![34
做了一個數據集:
遠景,低紋理,低光照,小前景,大前景
在這裏插入圖片描述
手工標註了一些點,5000張左右
對比:
在這裏插入圖片描述
解決了對特徵的依賴,和RANSAC挑戰,但是對深度信息解決不好

Deep Meshflow

網格方法

基於硬件的圖像對齊

陀螺儀
手機端三個方向提供加速度信息,得到運動信息
在這裏插入圖片描述
gtro採樣率一般比較高,30fps視頻得到每幀3到4個gyro或更高
在這裏插入圖片描述
優點:不需要看圖像的內容
缺點:需要相機的內參;抓拍視頻和陀螺儀二者時間差的準確計算(需要系統級別的權限);
光學防抖有機械臂反向彌補(額外運動引入導致陀螺儀的計算會偏差)
只能描述相機的純旋轉

DSPM數據策略產品經理——阿里講座

餘帥兵
在這裏插入圖片描述
BI:Business intelligence商業智能分析團隊
對數據進行深度分析以達到高可用
在這裏插入圖片描述
數據如何取用:
基礎取數方法? Excel,有沒有固化的模板,定義數據範式,做一些集成化的思考
在這裏插入圖片描述
奧卡姆剃刀:化繁爲簡。更多的是看趨勢,拐點,對比,相關性。
每種圖標適配什麼場景:條形圖、柱狀圖等每種圖都只能反映一兩種特徵。
DA:Data analysis
算法模型:1算法的核心目標
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章