劉帥成博士,曠世成都研究院,該院2018年成立,
新加坡國立大學畢業
目錄:
1基於傳統算法
2基於深度學習
3基於硬件
Image aligment methods圖像對齊
應用:
圖片拼接:不同視角拍的建築拼成更大的一個畫面,全景圖
去噪,防抖
HDR不同曝光的同一場景,選取不同的曝光區域 拼接
多攝像頭協同工作,一個是長焦,一個是廣角。
視頻防抖。
挑戰:
1 重複特徵:大廈窗口紋理很像,重複紋理
2 弱紋理,無紋理:白色的牆面,海面天空
3 大前景的干擾:有很多路人,視角偏一點,遮擋後面的景象就變化了
4 夜景,噪聲的干擾
5 大視差:視角角度差別比較大時
工業界裏不是關注什麼場景裏效果最好能有多好,而是關心實用中最壞情況匹配的多壞
傳統算法
Homography
3*3的矩陣
限定:只能描述平面運動,或者相機繞光心的純旋轉運動
依賴特徵點;
Meshflow
屬於Mesh warps算法的一個分支。
給定兩幀:t,t-1,
圖像劃分成小格子,算小格字中的特徵點
一個好的特徵點的分佈應該是均勻的全覆蓋在整個圖片畫面,(而不是SIFT這種會附着在梯度大的地方),在檢測不到特徵點的地方用另一個方程賦予它特徵點,密集地區篩選一些
並且也可以解決圖片中深度變化的地方
深度學習方法
Deep Homography
2016
Deep Image Homography Estimation(是supervised的)
訓練方法:隨機裁剪一個框,隨機選四個點,自己放射變換一下,和原來的ground truth作爲樣本來訓練。也就是自己合成兩張圖片
但是,真實場景中,其中人、汽車等兩張圖片會有變化。由下面文章解決
2018
Unsuprvised Deep Homography(Unsupervised)
缺:忽略了運動物體、視差的干擾。
2019
Content-Aware Unsupervised Deep Homography Estimation
提取feature , mask
保證其中火車,汽車,噴泉在特徵圖中很少會有特徵點了
![3
做了一個數據集:
遠景,低紋理,低光照,小前景,大前景
手工標註了一些點,5000張左右
對比:
解決了對特徵的依賴,和RANSAC挑戰,但是對深度信息解決不好
Deep Meshflow
網格方法
基於硬件的圖像對齊
陀螺儀
手機端三個方向提供加速度信息,得到運動信息
gtro採樣率一般比較高,30fps視頻得到每幀3到4個gyro或更高
優點:不需要看圖像的內容
缺點:需要相機的內參;抓拍視頻和陀螺儀二者時間差的準確計算(需要系統級別的權限);
光學防抖有機械臂反向彌補(額外運動引入導致陀螺儀的計算會偏差)
只能描述相機的純旋轉
DSPM數據策略產品經理——阿里講座
餘帥兵
BI:Business intelligence商業智能分析團隊
對數據進行深度分析以達到高可用
數據如何取用:
基礎取數方法? Excel,有沒有固化的模板,定義數據範式,做一些集成化的思考
奧卡姆剃刀:化繁爲簡。更多的是看趨勢,拐點,對比,相關性。
每種圖標適配什麼場景:條形圖、柱狀圖等每種圖都只能反映一兩種特徵。
DA:Data analysis
算法模型:1算法的核心目標