我讀Fine-Grained Change Detection of Misaligned Scenes with Varied Illuminations

背景介紹

文章標題：Fine-Grained Change Detection of Misaligned Scenes with Varied Illuminations，ICCV 2015，暫無主頁，PDF，Code&Dataset1。

本文貢獻

所有的變化檢測都是針對大尺度、且識別的主體具有顯著性的圖片進行檢測，本文提出的方法可以在毫米級別對差異進行檢測。本文起點是相機已經對同一場景拍攝了兩組照片2，每組照片相機參數不變，環境光變化。這樣子變化檢測就可以認爲只由一下三個方面影響：

1. 環境光
2. 相機+鏡頭的幾何畸變
3. 被拍攝物體的真實變化

本文就針對以上三點提出了一種從粗到精細、最終使用最小化rank進行變化檢測的方法。

實現方法

在講述方法前，先回顧一下本文目標、前提條件、以及難點。目標是做精細的變化檢測，前提條件是相同位置拍攝的兩組圖片，且兩幅圖片位置相差幾乎很小，每組照片有K+1 幅圖像構成，分別爲單純環境光，與加上了K 個方向的有向光拍攝，這樣子好處就是可以對細微變化檢測（並且簡單方便夠便宜）3，見圖1。

難點就是上面說的三個影響因素，我們記一下符號表示：

意義	符號
上一次的照片組	X ，每一列爲一幅圖片
這一次的照片組	Y ，每一列爲一幅圖片
環境光不同	L
相機+鏡頭的幾何畸變	F
真實場景的變化	C

本文使用到的方法是coarse-to-fine的方法迭代的對上面的三個影響因素求解。爲保證結果的準確性，先簡單介紹了一下相機重定位的原理。整體流程見圖2。

1. 數據採集

就是相機重定位的過程，假設上一次拍了一組照片X ，這次需要排到幾乎相同位置的一組照片Y ，相信很多有攝影經驗的人都知道這是很困難的，因爲手抖一下相片都會模糊，這時隔好幾個月或者一年的兩張照片怎麼能一樣。這裏我們通過不斷的調整相機的姿態完成，使用到了單應矩陣(homography matrix)，假設上一次拍的圖片是Rb ，這一次當前圖片Rr ，相機姿態是Ic ，我們有單應矩陣使得Rr=HRb ，通過單應矩陣H 來調整相機姿態是Ic ，循環拍攝-調整幾次之後我們就得到了一個基本相同的Rb 和Rr 。

2. F 的初始化

因爲X 和Y 中圖片的光照是一一對應的，可以先假設有一個全局的環境光打在一幅圖片xi∈R3×N 上，形成Aixi+bi ，即yi 的近似。其中的

[A^i,b^i]=argminAi,bi||Aix~i+bi−y~i||2F

其中x~i 和y~i 是SIFT匹配點對的RGB值形成的矩陣。這個方程就是一個最小二乘法求映射的，把X 轉化爲了XF 。

3. Normal-aware lighting correction

上小節假設加的是全局環境光，本小節假設加了局域光，用到Lambertian reflectance model，對每個像素p ，有Ip=∫⟨np,ω⟩ρpL(ω)dω 。就是像素在照片上顯示的顏色=物體與發現夾角餘弦× 反射率× 入射光。加了一個局域入射光，就變成了這個樣子：

xLFp=∫⟨np,ω⟩ρp(Lx(ω)+Lv(ω))dω=xFp+Lvp=yp

第二個等號後面，第一項xFp 是上小節處理過後的圖片的像素p 位置的值，第二項Lvp 是文章假設局域光對像素點的影響。

Li=argminLv∑p(xiFp+Lvp−yip)2exp(−Cpσ)+α∑p∼qωpq(Lvp−Lvq)2

第一個求和符號保證的是擬合程度高，其中Cp 表示上次檢測時，此像素變化情況，如果接近1則表示上次變化很大，進而exp(−Cpσ) 接近於零。也就是說，對於變化區域不用追求光照一致化，免得光照矯正把微小變化給搞沒了。
第二個求和符號項鼓勵局域光平滑性好。p∼q 表示相鄰的像素，ωpq 就是兩個像素的相似度，求法是使用色度（照片顏色除以光強）。
於是我們得到局域光調整過後的圖片XL 。

4. 相機幾何校正

引用自Sift flow: Dense correspondence across scenes and its applications，改了一下能量方程：

E(F)=∑i,p||xiL(p+Fp)−yi(p)||1exp(−Cpσ)+β∑p||Fp||22+∑p∼qmin(γ||Fp−Fq||1,d)

具體實現可以看一下被引用的文章4。本文裏說使用1小節中的方法就可以初始化F 了。
此步驟後圖片的標記變爲XLF 。

5. Low-rank變化檢測

重點來啦，各位請打起精神，這一節我們就會得到一個變化概率圖像。
首先，兩組圖像根據環境光兩兩匹配，對第i對圖像我們就有兩列矩陣Oi=[XiLF,Yi] ，第一列是上一節處理圖像（拉長變成了一列），第二列爲本次拍攝的圖片。於是有O=[O1,...,OK+1]∈R3N×2(K+1) 。

然後建立了目標方程：

argminZ,E||Z||∗+λ||E||1+κ||TE||2Fs.t.O=Z+E

Z 表示不變部分，E 表示非常離散的變化部分，T=diag(A,A,A) 表示像素的相鄰關係，如果兩個像素pq 相鄰，有App=Aqq=1,Apq=Aqp=−1 ，使用拉格朗日乘子法，目標方程變爲：

argminZ,E||Z||∗+λ||J||1+κ||TE||2F+Φ(Y1,O−Z−E)+Φ(Y2,Y−E)

稍微解釋一下，Y1,Y2 是拉格朗日算子，Φ(Y,Z)=μ2||Y||2F+⟨Y+Z⟩ ，使用ALM算法求解5[^cite3]。

最後把E 取平均值得到差異概率矩陣C 。

6. Coarse-to-fine優化以及最終結果

圖2很直觀，差不多3到5個循環3-5小節的步驟就能結果收斂，這時候簡單的對C 一個閾值分割就可以得到結果，本文卻沒這樣做。而用了金字塔模型構造了所有層的平局值Call ，然後用線性SVM分類，像素特徵是周圍7×7 網格的線性排列。這樣就有了最終結果。

實驗結果

頤和園數據集Dp

Method	F1	Re	Pr	Sp	FRR	FNR	PWC
SC_SOBS A	0.03	0.90	0.01	0.09	0.91	0.10	89.80
SC_SOBS M	0.02	0.97	0.01	0.03	0.97	0.03	96.21
SC_SOBS LFA	0.11	0.34	0.06	0.95	0.05	0.66	5.62
SC_SOBS LFM	0.16	0.20	0.14	0.99	0.01	0.80	1.92
SubSENSE A	0.02	0.55	0.02	0.60	0.40	0.45	39.41
SubSENSE M	0.02	0.93	0.01	0.20	0.80	0.07	78.85
SubSENSE LFA	0.08	0.04	0.05	0.99	0.01	0.96	1.81
SubSENSE LFM	0.07	0.22	0.04	0.95	0.05	0.78	5.85
Ours (D&T)	0.34	0.28	0.52	1.00	0.00	0.72	0.92
Ours (SVM)	0.51	0.53	0.47	0.99	0.01	0.47	1.02

實驗室內壁畫試塊數據集Db

Method	F1	Re	Pr	Sp	FRR	FNR	PWC
SC_SOBS A	0.03	0.31	0.02	0.69	0.31	0.69	31.52
SC_SOBS M	0.03	0.36	0.02	0.65	0.35	0.64	35.07
SC_SOBS LFA	0.02	0.02	0.03	0.99	0.01	0.98	1.99
SC_SOBS LFM	0.09	0.08	0.14	0.99	0.01	0.92	2.01
SubSENSE A	0.24	0.50	0.31	0.72	0.28	0.50	28.32
SubSENSE M	0.23	0.67	0.19	0.66	0.34	0.33	34.01
SubSENSE LFA	0.06	0.03	0.26	1.00	0.00	0.97	1.43
SubSENSE LFM	0.28	0.21	0.50	0.99	0.01	0.79	1.62
Ours (D&T)	0.45	0.40	0.56	1.00	0.00	0.60	1.23
Ours (SVM)	0.53	0.62	0.48	0.99	0.01	0.38	1.41

雕像數據集Ds

Method	F1	Re	Pr	Sp	FRR	FNR	PWC
SC_SOBS A	0.01	0.59	0.00	0.78	0.22	0.41	22.29
SC_SOBS M	0.01	0.66	0.00	0.73	0.27	0.34	27.41
SC_SOBS LFA	0.19	0.34	0.14	1.00	0.00	0.66	0.31
SC_SOBS LFM	0.27	0.44	0.19	1.00	0.00	0.56	0.24
SubSENSE A	0.02	0.83	0.01	0.88	0.12	0.17	12.13
SubSENSE M	0.01	0.98	0.00	0.66	0.34	0.02	34.28
SubSENSE LFA	0.27	0.28	0.34	0.99	0.01	0.72	1.57
SubSENSE LFM	0.12	0.77	0.07	0.95	0.05	0.23	5.37
Ours (D&T)	0.53	0.78	0.43	1.00	0.00	0.22	0.28
Ours (SVM)	0.51	0.86	0.39	1.00	0.00	0.14	0.29

金字塔模型不同層數的 F-1 measure

Dataset	1 Level	2 Levels	3 Levels
Dp	0.3595	0.4476	0.5134
Db	0.3907	0.4897	0.5254
Ds	0.4236	0.6737	0.5118

---

1. 這篇文章主要作者均爲本人研究生所在項目組人員，一作是小編的導師，二三四作是師弟，五作是師孃，六作爲項目負責人。本項目源自敦煌研究院聯合天津大學共同完成的一個文物保護項目，本項目的目標是對敦煌壁畫進行病害監測，部分內容涉密。 ↩
2. 共分爲兩步，粗定位和精細定位，粗定位的兩種方法已經申請發明專利，精細定位方法涉及多極幾何，軟硬件均爲本文作者與孫高工、嶽師弟共同完成。 ↩
3. 另外一種對細微變化檢測的方式是使用相機從多角度拍攝後3D建模，但是多光照和多相機姿態太太太具有挑戰性了，並且3D建模的變化檢測結果誤差太大（不能保證pixel-level的檢測，你懂的）。 ↩
4. Liu, Ce, Jenny Yuen, and Antonio Torralba. “Sift flow: Dense correspondence across scenes and its applications.” Pattern Analysis and Machine Intelligence, IEEE Transactions on 33.5 (2011): 978-994. ↩
5. Lin, Zhouchen, et al. “Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix.” Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP) 61 (2009).
   [^cite3]: Liu, Guangcan, et al. “Robust recovery of subspace structures by low-rank representation.” Pattern Analysis and Machine Intelligence, IEEE Transactions on 35.1 (2013): 171-184. ↩