智能手機拍照進化論:從傳感器到算法攝影

在智能手機時代,攝影已經發生了變化。不僅人們的拍照姿勢變了,手機攝像機捕獲的光線的整個過程也發生了翻天覆地的變化。

相機不再只是一個鏡頭和一個傳感器,還是一系列算法的體現,它們可以以最快的速度處理圖像以獲得最好的攝影效果。手機攝影已經進化成爲算法攝影。

人工智能機器學習的不斷進步將帶來更多不同的功能,技術更新迭代的速度之快,或許很快就會讓今天的手機攝影效果看起來過時了。

比如谷歌Pixel 3和iPhone X的手機拍照功能發生的一些新變化。谷歌可以利用機器學習在弱光條件下捕捉更多細節,可以讓夜景拍攝效果看起來像白天拍出來的效果一樣。

從2017年推出iPhone X開始,蘋果開始在手機中添加了“bokeh”,巧妙地模糊了焦點之外的元素。這種效果並不是像傳統攝影那樣依靠鏡頭本身,而是通過對捕捉到圖像進行像素計算調整來實現的。

2019年到2020年,攝影的突破性進展很有可能來自於改善處理圖像的視角。這很有可能會糾正智能手機攝影中固有的失真,這些失真使得智能手機在數碼單反(DSLR)相機照片面前顯得相形見絀。

image

卷積神經網絡(CNN)是如何通過一張圖片重建現實的。來自查爾默斯理工大學的Torsten Sattler,慕尼黑理工大學的Qunjie Zhou和Laura Leal-Taixe,蘇黎世理工學院和微軟的Marc Pollefeys所著的《理解基於卷積神經網絡的絕對相機姿態迴歸的侷限性》。

事實上,它們可以達到接近於“移軸攝影”相機的效果。在移軸攝影相機中,鏡頭的角度是爲了彌補一個人站在相機前的角度,從而糾正由於個人與場景之間的角度造成的圖像失真。數碼單反用戶可以很容易買到各種可拆卸鏡頭,實現移軸攝影功能。

一般的手機相機鏡頭筒非常小,捕捉到的所有圖像都是扭曲的。對應現實世界,手機拍到的圖像形狀幾乎都有偏差。大多數人可能不會注意到或在意這一點,因爲他們已經習慣了Instagram上的自拍。但如果能改善這些畸變就好了。如果可以,這將成爲谷歌、蘋果等公司下一輪智能手機的賣點。

iPhone和其他相機將越來越多地搭載帶有3D傳感器的後置攝像頭。這些傳感器由魯門特姆控股(Lumentum Holdings)和其他芯片供應商等公司製造,通過計算髮出光束從物體上反射回來的時間來測量手機周圍環境的深度。“飛行時間法”(time-of-flight)等技術可以讓手機詳細測量周圍環境的三維結構。

這些傳感器利用基於近年來爲解二維圖像和現實世界之間的關係而進行的大量統計工作。

image

谷歌Pixel 3智能手機上的“夜視”功能

人們做了大量的統計工作來實現移軸攝影鏡頭的物理特性,包括帶有或沒有特殊攝像裝置的方案。例如,一項名爲“隨機樣本一致性”(RANSAC)的技術可以追溯到1981年,專門用於尋找三維世界中的地標,這些地標可以映射到二維圖像平面上的點,以瞭解二維圖像與三維現實之間的關係。使用這種技術,我們可以更好地理解二維表示如何與現實世界相對應。

2015年,佛羅倫薩大學(University of Florence)的一組研究人員在RANSAC的基礎上,通過對相機拍攝的照片進行逆向推理,推斷出了平移變焦相機的結構。他們能夠通過軟件來分析不同位置的相機的失真程度,從而控制相機的制動器調整至最佳狀態。他們可以用它來製作視頻,而不僅是靜止的圖像。

2017年,德國埃爾蘭根-紐倫堡大學(University of Erlangen-Nurnberg)和伍茲霍爾海洋學研究所(Woods Hole Oceanographic Institution)的研究人員公佈了一個名爲CameraTransform的Python庫,它可以讓人們通過對拍攝的圖像進行逆向計算,來估算物體的真實尺寸。

image

四角觀察:研究人員創建的一種神經網絡,用於推斷圖片中被遮擋的物體,由編碼-解碼器和對抗性網絡組成。由慕尼黑工業大學的Helisa Dhamo、Keisuke Tateno、Iro Laina、Nassir Navab和Federico Tombari提供,佳能公司提供支持。

去年,德國慕尼黑工業大學(Technical University of Munich)和佳能公司(Canon, Inc.)的研究人員表示,用一張圖片就可以推斷出被另一個物體遮擋的場景中有什麼。它被稱爲“分層深度圖像”,可以通過從照片中刪除一個對象來創建新的場景,顯示相機從未見過的背景,但這是通過圖像計算得到的。該方法使用了許多神經網絡應用中常見的編碼-解碼器方法來估計場景的深度,以及“生成對抗網絡”(GAN)來構造場景中在拍攝照片時從未實際出現在視野中的部分。

各種新的研究在不斷涌現,並將在下一代配備3D傳感器的智能手機相機上呈現井噴之勢。這些研究將會帶來驚人的成果。在未來,至少用智能手機拍攝的人像不再會出現奇怪的面部扭曲。通過平衡鏡頭上的線條畸變創建出平行線,我們可能會得到超分辨率的建築圖片。智能手機行業將能夠在與數碼單反市場的對戰中再次勝出,因爲手機將生產出大量精確而逼真的照片。

當然,智能手機攝影的長期趨勢是遠離現實主義,達到在計算攝影之前不可能實現的更加驚豔的效果。因此,我們可能會看到3D傳感技術的應用趨向於超現實主義。

未來,在推進機器學習技術之路,還會經歷一個意義重大的階段。我們有可能放棄使用三維傳感器,僅用卷積神經網絡(CNN)來推斷物體在空間中的座標。這將節省在手機中安裝傳感器的費用。

參考鏈接:

https://www.zdnet.com/article/artificial-intelligence-and-the-future-of-smartphone-photography/

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章