raw圖像格式

1、RAW格式是什麼

RAW格式：

RAW圖像就是CMOS或者CCD圖像感應器將捕捉到的光源信號轉化爲數字信號的原始數據。

RAW格式的全稱是RAW Image Format。

攝像頭的數據輸出格式一般分爲CCIR601、CCIR656、RAW RGB等格式，此處說的RGB格式應該就是CCIR601或CCIR656格式。而RAW RGB格式與一般的RGB格式是有區別的。我們知道，Sensor的感光原理是通過一個一個的感光點對光進行採樣和量化，但，在Sensor中，每一個感光點只能感光RGB中的一種顏色。所以，通常所說的30萬像素或130萬像素等，指的是有30萬或130萬個感光點。每一個感光點只能感光一種顏色。

但是，要還原一個真正圖像，需要每一個點都有RGB三種顏色，所以，對於CCIR601或656的格式，在Sensor模組的內部會有一個ISP模塊，會將Sensor採集到的數據進行插值和特效處理，例如：如果一個感光點感應的顏色是R，那麼，ISP模塊就會根據這個感光點周圍的G、B感光點的數值來計算出此點的G、B值，那麼，這一點的RGB值就被還原了，然後在編碼成601或656的格式傳送給Host。而RAW RGB格式的Sensor則是將沒個感光點感應到的RGB數值直接傳送給Host，由Host來進行插值和特效處理[2]。

假設300萬像素每個像素包含10bit的數字信息，那麼它的未壓縮的RAW文件大小：

3,000,000 * 10bit = 30,000,000 bit = 3,750,000byte ≈ 3662.1K ≈ 3.58M

raw 英 [rɔ:] 美 [rɔ]

adj.生的，未加工的; 無經驗的; 新近完成的; 發炎的，疼痛的

vt.擦傷; 使赤身露體

n.原料; （身體的）擦傷部位; 紅腫部位; 半成品

ISP(Image Signal Processor),圖像信號處理器

2、Bayer RGB 和 RGB RAW

Bayer pattern說的是COLOR FILTER的結構,分爲兩種：STD Bayer pattern 與Pair pattern，其中STD Bayer pattern的結構是BG/GR的，而Pair Pattern顧名思義是指BGBG/GRGR的結構，即以四行爲一個單位，前兩行是BG的結構，後兩行是GR的結構，這種結構是美光專門爲此申請了專利的，主要是在輸出TV模式（NTSC/PAL制）時用到。

Bayer RGB與RGB Raw的主要區別在於兩者輸出前經過的處理不同，Bayer RGB從ADC輸出，只經過了LENS SHADING，GAMMA等模塊處理而後就直接輸出，而RGB Raw則經過了整個ISP模塊的處理，最終是經過YUV422的數據轉化而來的。Raw data是指原始的數據，單個pixle只能感應一種顏色。

2.1、bayer數據排列格式

來源這邊文章三種Bayer數據的插值算法（CCD插值算法），裏邊講到格式的排列，和轉換的方法。

一般友對應的四中格式RGGB（a），BGGR（b），GBRG（c），GRBG（d）四種格式的接口。該文講了三種算法，還沒有實驗這三個算法的效果。

1.鄰近插值

(1) 綠色分量重建

整個平面內一般一半的點是有像素的，而且全都間隔排列。對沒有像素存在的點，全部取其左邊位置的綠色像素強度。

(2) 紅色和藍色分量重建

對每一個紅色和藍色的像素，將右邊、下面、右下角的值都賦值爲它的值。

該方法在實際處理中，對豎直的密集線對錶現比較好，只有少量噪點；而水平的密集線對基本呈現密集的點狀圖案，無法看出線條，類似於前面說的僞彩色現象。

2.基於邊界梯度的插值

(1) 綠色分量重建

首先恢復紅色和藍色採樣點處的綠色分量，即圖a和圖b中心採樣點處的綠色分量，圖b綠色分量重建過程與圖a相似，故以圖a爲例。

1）中心紅色採樣點R(i,j)處水平方向和垂直方向檢測算子計算如下：

2）當水平算子小於垂直算子時，中心點R(i,j)存在水平邊緣的概率較大，中心綠色分量的計算沿水平方向進行，公式如下：

3）當水平算子大於垂直算子時，中心點R(i,j)存在垂直邊緣的概率較大，中心綠色分量的計算沿垂直方向進行，公式如下：

4）倘若水平和垂直的算子相等，則中心點處的綠色分量的計算爲水平和垂直方向的平均值，公式如下：

(2) 綠色採樣點處的紅色和藍色分量重建

圖d的藍色和紅色分量的重建過程與圖c相似，故以圖c爲例。中心點處的藍色分量的重建使用左右兩點的B-G空間的線性插值，紅色分量的重建使用上下兩點的R-G空間的線性插值，具體如下：

(3) 紅色(藍色)採樣點處的藍色(紅色)分量的重建

最後對紅、藍處的藍、紅像素分別進行重建。根據圖像，每個紅色像素被四個角上的藍色像素包圍，藍色像素也是相同。因此只需要對四個角上取平均值即可。紅色像素點的重建方式如下，藍色也類似：

該方法對水平和豎直的密集線對展現都比較良好，除了有少量噪點，線對和背景的對比度不夠高。

3.漢密爾頓插值

在Bayer CFA中，由於綠色像素點的數量是紅色和藍色像素數量的兩倍，故其包含更多的原始圖像的邊緣信息。因此，亞當斯和漢密爾頓根據該思想在1997年提出了一種邊緣自適應的插值算法。所以漢密爾頓插值其實就是一種邊緣自適應的插值算法。

(1) 綠色分量重建

首先恢復紅色和藍色採樣點處的綠色分量，即圖a和圖b中心採樣點處的綠色分量，圖b綠色分量重建過程與圖a相似，故以圖a爲例。

1）中心紅色採樣點R(i,j)處水平方向和垂直方向檢測算子計算如下：

2）當水平算子小於垂直算子時，中心點R(i,j)存在水平邊緣的概率較大，中心綠色分量的計算沿水平方向進行，公式如下：

3）當水平算子大於垂直算子時，中心點R(i,j)存在垂直邊緣的概率較大，中心綠色分量的計算沿垂直方向進行，公式如下：

4）倘若水平和垂直的算子相等，則中心點處的綠色分量的計算爲水平和垂直方向的平均值，公式如下：

(2) 綠色採樣點處的紅色和藍色分量重建

(3) 紅色(藍色)採樣點處的藍色(紅色)分量的重建

最後進行圖a中心點藍色的恢復和和圖b中心點紅色的恢復，由於圖b的重建過程與圖a相似，故以圖a爲例。觀察R周圍最近的藍色像素點，處於R像素點左上，左下、右上、右下四個位置。爲了更好的選擇插值方向，保存邊緣信息，與綠色分量的恢復類似，需要首先沿兩個斜四十五度方向計算像素的梯度，再沿梯度較小的方向插值。

左下右上和左上右下的梯度計算如下

根據梯度的比較結果，選擇合適的插值防線，計算如下：

其中第2、3步的順序可調換。

這種方法的時間複雜度不高，而且能夠提供比較好的插值效果。對於非常亮的白光區域，採用上面兩種方法會有個別的某種純色255強度的點，而該方法的插值對亮色的表現比較平滑。對於密集線對，無論橫豎方向都不會出現顆粒狀的問題，線條比較完整，且與背景對比度高。

關於Bayer數據的插值算法有很多的文章與研究，在工業界較爲成熟的應用還是漢密爾頓插值法。在設計程序時要考慮到具體的平臺與需求，挑選合適的算法進行處理。

上面文章講的不錯，但是這個文章RAW圖像數據到RGB講的比較細和通俗易懂，裏面有講到log算法還有raw到rgb的簡單算法。

3、OV8865攝像頭

對於SENSOR來說,Bayer RGB和RGB Raw兩者的圖象結構都是BG/GR的， raw圖像中一般要進行線性化處理，一般來說我接觸過的手機的raw圖像一般爲10bits。所謂線性化我的理解就是還原格式，OV88865的輸出格式就是raw10bit。

OV8865傳感器的圖像陣列爲3296列×2528行（8,332,288像素）。圖3-1顯示了圖像傳感器陣列的橫截面。濾色器以Bayer模式排列。原色BG / GR陣列以線交替的方式排列，從圖中知道，每個2*2的方陣爲一個單位，由於人眼對綠光比較敏感，所以有兩個綠色像素，一個紅色像素和一個藍色像素。在8,332,288像素中，7,990,272（3264x2448）是有效像素並且可以輸出。其他像素用於黑電平校準和插值。建議從整個有源像素陣列輸出中心3264x2448像素。後端處理器可以使用邊界像素進行額外處理。傳感器陣列設計基於具有逐行傳輸的場積分讀出系統和具有同步像素讀出方案的電子快門。

二次採樣

圖像傳感器sensor的縮放存在兩種模式:binning mode 和skip mode。skipping mode 就是把想要的數據採集上來,把其餘的數據扔掉。binning mode 就是把相鄰的像素求平均值，生成一個像素。OV8865支持binning mode，可在保持視野的同時提供較低分辨率的輸出。在binning mode爲ON的情況下，相鄰像素（相同顏色）的電壓電平在發送到ADC之前被平均。OV8865支持2x2合併，如圖3-2所示，其中兩個水平（2x1）相鄰同色像素的電壓電平被平均。