視頻製作中的綠幕與拜耳陣列

先來欣賞一些大片背後的特效

現在國內的電影市場越來越大,做短視頻的自媒體也越來越多,在他們的後期視頻製作的片花中可以看到很多都在使用綠幕或者藍幕,這是爲什麼呢?

首先肯定是爲了摳圖的方便。將主體部分摳出再將通過特效渲染的背景圖像疊加上去。那麼爲什麼使用的幕布顏色是綠色或者藍色呢?我們知道光源的三原色是RGBRBG,而摳像的主體一般是人,紅色接近人類膚色,在密佈紅色的工作環境中,長時間的工作也會讓電影製作的人員產生暴躁、疲勞的生理反應,十分不利於電影製作,所以紅色幕布是很少選擇的。這就是幕布一般是綠色或者藍色的原因,而綠幕又比藍幕流行,一般認爲西方人瞳孔是藍色的,所以使用綠幕,而東方人使用藍幕,這樣會讓角色皮膚顯得更加細膩白嫩。

但是正如爲什麼電影特效多用綠幕? - 深刻的回答 - 知乎提到的,使用綠幕還有其他專業的技術原因。數碼相機中的傳感器,不論是CCD還是CMOS,像素排列的方式都是拜耳矩陣,所以感光芯片採集顏色信號是RGGB(其實也是基於人眼對綠色更敏感的研究)。這從另外一方面解釋了綠幕使用綠色,因爲相機也是對綠色更敏感。

我們大部分的光電傳感器只能捕獲光的強度而無法捕獲光的顏色(頻率),而我們知道光的三原色是RBG,理論上只需要知道每個像素的RBG三個通道的顏色強度就可以融合得到真實色彩,而我們也確實可以藉助濾波片實現。但問題是在工業上這樣相當於在三個通道成了三次像,而且濾波片的難度很高,且需要嚴格對齊。

原則上需要在三個通道分別成像,最後疊加,得到數碼彩色圖像。

拜耳陣列是伊士曼·柯達公司科學家Bryce Bayer發明的。通過拜耳陣列,三合一成一個Bayer filter mosaic,其實就是一個顏色濾波器陣列(color filter array (CFA)),在一次成像的過程中將RGB三個通道有規律地排列好。

 

拜耳矩陣同樣藉助了濾波片,但是在排列中是三個通道的濾波片以一定的規律排列。下圖就是一種排列方式。

這樣的結果就是有的像素位置捕獲到了紅色通道的信息,有的是綠色通道信息,有的是藍色通道信息。當這些像素位置正好和濾波片的顏色一樣時當然可以無失真的捕獲真實色彩,但是大多時候沒有這麼湊巧,我們仍然需要三原色來合成真實色彩。通過拜耳陣列就可以對每個三原色進行插值(去馬賽克demosaicing),得到各個位置的其他二原色。而使用的插值方法其實是和常見的插值方法類似的,如最近鄰插值,雙線性插值。

對綠色通道進行插值時需要特別綜合考慮水平方向和豎直方向上其他通道的變化幅度。

下面看一下在我們按下拍攝按鍵的短時間內相機都做了什麼。你會發現,即便你還沒有動手p圖,相機已經做了一系列的圖像處理,即便是實時取景器中也是經過默認參數處理之後的圖像。

這是通過拜耳陣列的成像過程分解。圖2就是RAW(raw image format)數據得到的灰度圖像,傳感器只記錄了光強信息,再加上Bayer CAF就可以得到圖3,這時候只有BGB和黑四種顏色;再通過去馬賽克算法就可以重構出其他通道的顏色信息從而優化圖像得到圖4.而圖5是由原圖1經過下采樣(最近鄰算法)和縮放至圖4分辨率的結果,可以看到圖4和圖5已經很接近了。

手機廠商一般會宣稱手機相機像素是多少,以Iphone X爲例,後置攝像頭是1200萬像素,那麼意味着RBG三種傳感器的數目之和是1200萬,且三種的比例是1:1:2. 在顯示設備如屏幕中,以Iphone X爲例,屏幕分辨率2436x1125=2740500. 每個像素由紅綠藍三個子像素組成,如果像成像設備一樣以單色像素計算像素總數,那麼典型的1080p顯示器就有1920x1080x3,大約620萬的單色像素。

近年已有一些公司提出了新的傳感器排列方式,如適馬公司的Foveon X3或富士公司的X-Trans傳感器,但在目前市場上拜耳陣列傳感器仍然佔有絕對的統治地位。拜耳陣列的問題之一是,在拍攝具有重複細節(如紡織品)的畫面時,容易產生彩色干擾信息。該問題是由於其規則的分佈方式而造成的。其具體表現爲在畫面中產生難看的色帶,而解決該問題的方法是在傳感器其安裝一塊會將畫面細節模糊化的AA(anti-aliasing或稱低通)濾鏡。低通濾鏡可以減弱摩爾紋,但同時也降低了相機分辨率。可能造成的人爲現象還包括假彩色現象False color artifact和鋸齒效應Zippering artifact。

Reference:

  1. https://blog.csdn.net/youmingyu/article/details/52572977
  2. http://www.ruanyifeng.com/blog/2012/12/bayer_filter.html
  3. https://en.wikipedia.org/wiki/Demosaicing
  4. https://en.wikipedia.org/wiki/Bayer_filter
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章