人類消除不了混疊信息，最後逼出了多幀超分。
1 爲什麼要超分？
與單反相機相比，智能手機相機的傳感器更小，這限制了它們的空間分辨率;更小的光圈，限制了它們的聚光能力;更小的像素，這降低了他們的信噪比。實際獲得的低分辨率圖像可以認爲是利用光學成像設備對原始高分辨率場景進行觀測的結果，而觀測過程不可避免的會受到鏡頭光學模糊、欠釆樣、噪聲等降質因素的影響。
2 爲什麼要多幀超分？
因爲圖像在成像時，發生了欠採樣（傳感器像素大於細節所需要的像素，也就是採樣率沒有達到奈奎斯特頻率。），導致我們獲得圖像存在混疊現象。即存在顯示爲虛假低頻的高頻，規則的虛假低頻也就是大家常見的摩爾紋。既然圖像中存在高頻部分信息，那麼我就得想辦法把它提煉出來，最終得到一張高分辨率圖像。另外一個原因是拜爾濾色鏡:光達到傳感器時，因爲在每個像素位置只能記錄一個顏色，因此濾色鏡將其他信息過濾掉了。
3 爲什麼需要基於CNN的多幀超分？
儘管從採樣定理方面分析，足夠多的低分辨率圖像有可能可以重建出高分辨率圖像。但是現實很殘酷，因爲還有受到噪聲，未知模糊等干擾，那麼被噪聲和模糊破壞的高頻信息咋辦。因此要想重建高分辨率圖像，基本條件是多幀之間存在亞像素偏移。後期如何精準的對齊，以及如何解決多幀之間存在的遮擋，場景變化都是影響最終的效果。在空間域方法中，基於正則化的方法是最有效的多幀SR重建方法之一。由於SR重構是一個不適定的逆問題，因此關鍵技術是通過將先驗知識整合到SR重構過程中來獲得一個穩定的解。傳統方法大多通過先驗假設加迭代求解。求解能力有限。深度學習可能是一種更好的選擇。
4 多幀超分爲什麼是一個不適定的逆問題？
確定性分量包含了所有的低頻信號以及部分與低頻信號高度相關的高頻信號，這意味着確定性分量中的高頻信號仍然可以從下采樣圖像中的低頻信號中恢復。隨機分量包含與低頻信號相關性很小的其餘信號。正是隨機分量使得圖像超分辨率不適定。
5 爲什麼說圖像存在混疊？
奈奎施特頻率：在只有採樣頻率大於實際頻率的二倍的時候我們才能完整的還原出一個信號。同樣，對於二維的空間採樣來說，要想避免混疊信息（摩爾紋），就需要採樣頻率（傳感器分辨率）達到空間頻率（鏡頭分辨率，影像中條紋的空間頻率）的二倍。
如何避免混疊：目前鏡頭分辨率都比較高，但是傳感器的分辨率難以達到鏡頭分辨率的二倍，因此只能犧牲鏡頭分辨率， 因此在鏡頭與傳感器之間添加低通濾鏡。現實是殘酷的，理想的低通濾波在實際不存在的。一般還是會存在混疊的，尤其是當被拍攝的圖像是規則的細紋理，這種情況就更容易出現摩爾紋。
蘋果iPhone X、谷歌Pixel 3等主流手機主攝像頭的採樣率在1.5 ~ 1.8(亮度通道)之間，低於臨界採樣率2。
圖像有混疊信息：即有高頻信息殘留，傳感器像素面積大於細節所需要表示的像素，因此需要平均，導致這個高頻被顯示爲虛假的低頻。如下圖，左邊是高頻細節圓，除非這個正方形足夠小，使得每一個正方形剛剛填滿，不用與旁邊取均值，這時採樣率纔夠。
所以一般拍照不希望有混疊信息，擔心出現類似摩爾紋這種東西。但是多幀超分正是利用這種混頻信息來重建高頻信息，不可爲解決不了你，只能使用你了。
6 多幀超分需要兩個基本條件？（Tsai[1984]的工作開創了超分辨率的現代概念）
- 輸入幀需要包含圖像混疊（image aliased），即其包含採樣後顯示爲虛假低頻的高頻信息（如莫爾條紋）
- 輸入的多幀混疊圖像是在不同的亞像素位置被採樣的，這將表現爲輸入幀中虛假低頻的不同相位。
7 爲什麼輸入幀之間需要亞像素偏移？
本質上來講從多幀低分辨率圖像中進行超分辨率重建是個Inference的問題，高分辨率圖像中的細節信息在下采樣的成低分辨率幀的時候導致了丟失，然而抖動帶來的位移相當於給了多一個維度的信息讓我們可以通過算法對信息進行恢復，從某種意義上講抖動保存了原來圖像的細節信息。如果抖動的範圍完美覆蓋了一個像素週期以內的所有區域，並且每一幀都採樣到了這個區域內的所有的點的話，那麼理論上是可以恢復出高分辨率圖像的，然而通常情況並非如此。
整像素偏移，只能完全去噪用了。
8 多幀超分需要克服那些問題，不然適得其反？
亞像素配準問題，局部運動，遮擋，或場景變化，這些複雜場景影響對齊，以及最後的融合。因此沒有處理好這些，結果反而不好。還不如單幀超分。
運動的魯棒性，對任意序列的圖像進行可靠對齊是極具挑戰性的，理論和實踐不允許。因此基於局部像素統計得到一個權重圖。這個權重圖的重點是區分（混頻區域）和對齊失敗區域。混頻區域具有一定特徵（容易產生混疊的區域也有很大的空間差異）。與參考幀直接的顏色差異小於局部標準差的區域視爲無混疊，可以合併來去噪；顏色差異與局部方差差不多可以認爲是混頻區域，可以合併來SR。顏色差異大於局部方差可採用去鬼影。當然具體還有很多優化操作，可見論文。
9 爲什麼去拜耳濾鏡進一步退化了圖像信息？
去馬賽克即爲使用臨近像素來重建缺失的色彩信息的過程。在典型的消費級相機中，相機傳感器元件僅用於測量光的強度，而不是直接測量其顏色。爲了捕捉場景中存在的真實顏色，相機使用放置在傳感器前面的濾色鏡陣列，以便每個像素僅測量單一顏色（紅色，綠色或藍色）。通過對缺失的色彩信息進行最佳猜測，通常通過從附近像素中的色彩進行插值來進行去馬賽克，這意味着 RGB數碼照片三分之二的像素實際上是重建而來。這也是流行Raw域的多幀超分。例如今年一篇mean shoot，多幀raw進行超分。
10 如何實現去噪和超分辨率權衡？
一個實用的超分辨率算法需要注意到這種噪聲，並正確地消除它們。我們不希望得到更高分辨率但充滿噪聲的圖像——我們的目標是既增加分辨率又減少噪聲的結果。
11爲什麼需要真實超分？
人們開始通過長遠焦或者遠近拍攝來構建真實的超分數據，即退化模型不再是通過下采樣和上採樣來構建數據集或者人爲進行模糊,強調視場變化FOV纔是超分需要恢復的退化。從發的論文來看，重點在於如果構造數據集，其中最關鍵的就是如何將遠近數據進行對齊。要考慮亮度變化，噪聲變化，透視變換，色調變化等。在實驗室環境控制這些條件尚且困難，更不用說在真實環境中了。而且不同的視場變化FOV代表不同的退化程度，模型如何去泛化。
對齊：特徵點對齊，光流對齊，強度對齊，色調對齊等……一個深度學習方法又轉成傳統圖像處理了。一些論文嘗試通過STN或者一些光流網絡來進行對齊。
推薦文章：
Handheld Multi-Frame Super-Resolution SIGGRAPH 2019
Image Super-Resolution via Deterministic-Stochastic Synthesis and Local Statistical Rectification 2018