理解 Pix Binning
在CMOS 攝像頭的Skipping 和 Binning 模式博文中，我們提到過Pix Binning可以提高sensor的信噪比。但是這種技術究竟是如何提高sensor的信噪比的，我們可以通過這篇博文的定性分析詳細的瞭解到提高sensor信噪比的原因。
在談及binning如何工作之前，我們必須首先了解sensor中的噪聲。
我們在此談及的噪聲是一個在幀與幀之間，像素與像素之間的隨機的像素亮度值。下圖我們可以更加直觀的瞭解到噪聲對圖像的影響。
度量圖像噪聲情況如何並不僅僅是看噪聲的大小，更重要的是噪聲相對於圖像亮度的大小。這就是我們經常說的信噪比----SNR。舉例來說，假如圖像大部分亮度分佈在200，而噪聲散佈與195到205之間，我們就可以說圖像的信噪比大小爲40（200/5=40）.
那麼，圖像中的噪聲從哪來的呢？我們主要從三個源頭加以考慮。
- 散粒噪聲。這種典型的噪聲是由於每個像素檢測到的光子的數量在每一幀每一個像素之間都很隨機。想象一下，當下雨時，你有方法可以計算每一秒雨點進入到容器的數量。當降雨穩定的時候，如果你每一秒鐘計算掉入到容器中雨滴的數量，每一秒鐘所獲的到的雨滴大小並不是一樣的。在某一時刻你可能計算的到20，另一個時刻可能是21,19,22,18,17,23等等。這些自然的變量即爲散粒噪聲。有意思的是，散粒噪聲的大小等於被檢測到光子數量的平方根。
- 讀出噪聲。讀出噪聲除妖是由於sensor的模擬數據轉換爲數字數據時所帶入的噪聲。讀出噪聲是圖像傳感器本身的特性。一些sensor的讀出噪聲高於另一些sensor的讀出噪聲。在 當前所使用的CMOS sensor中，其讀出噪聲一般都比CCD sensor讀出噪聲小。
- 熱噪。sensor本身的熱量所散發出電子。sensor檢測到自身所散發的電子當做光的一部分。曝光時間越長熱噪越多，曝光時間較短是熱噪可以忽略不計。降溫可以在一定程度上減少熱噪。
讓我們例舉一個具體的例子。以IMX178爲例，我們設置一個比較小的增益。設置好之後，我們可能得到以下具體的數值：
Gain（e/ADU）：0.25
讀出噪聲（e-RMS）：1.7
Exposure：0.1s
如果我們有一個灰度值爲200(ADU)的像素,即表示sensor檢測到50個光子（Gain乘以ADU）。
檢測到的50個光子告訴我們其散粒噪聲大小爲50的開方根，即大概爲七個電子。由於曝光時間比較短，其熱噪可以忽略不計，此外，讀出噪聲爲1.7個電子。
因此，總的噪聲爲7e+0e+1.7e
實際上，噪聲總和並不是直接相加爲8.7e。當我們計算噪聲的總和時，不僅僅是直接把其各個噪聲相加，而是把每一個噪聲平方相加之後再開方。除非噪聲之間互相相關，否則一般噪聲的總和是把每一個噪聲平方相加之後再開方。
因此，根據以上噪聲信息，我們得到
根據噪聲信息和增益大小，我們可以得到噪聲大概爲29ADU。
Ok,到此爲止，我們瞭解到每一個像素都有一定噪聲，其主要有三個來源。現在我們會到之前的例子，200像素大小時計算出噪聲爲29ADU。會到我們之前定義的信噪比定義中，我們得到SNR=200/29=6.89。那麼，讓我們看看Binning之後將會發生什麼！
假設我們以2*2 binning，我們選取四個像素爲一個宏像素，每一個像素有200ADU和29ADU的噪聲。我們將其相加作爲一個像素之後：
Binned Value= 200+200+200+200=800
那麼，對於Binned像素而言其噪聲應該怎麼計算了？回到之前我們談及到的，當噪聲之間不相相關的時候，我們使用加法求積的形式計算其噪聲的大小。即平方每個噪聲相加之後再開方：
Binned noise =
我們發現，binnned之後像素的大小增大了四倍，但是其噪聲的大小隻是增大了兩倍。計算biinned 像素之後的值爲：
SNR=800/58 =13.8左右
Binning之後，SNR大概是原來的2倍。這即是binning百分之九十的祕密：像素值相加，但是噪聲通過加性相乘提高了SNR
如上所述，binnning通過四個像素灰度值相加binned得到800。這是一種常用的binning技術，這種方式得到的Binned像素將是原來的四倍亮度，對展現細節非常有用。這種技術有個問題是，如果像素值大小最大爲255，binned之後我們將得不到800，而是截取之後得到255。實際上binned之前的相鄰像素大小爲64或者64以上，我們都將得到255.
另外一種Binnning方式是把四個像素值相加之後求其平均值。那麼，這種方式下有時如何影響到SNR的呢？
我們分兩步計算其SNR。首先相加。把binned之前四個像素值相加：
Sum= 200+200+200+200=800
Noise on Sum =58
然後我們除以binned size大小。
Average= 800/4 = 200
Noise on Sum = 58/4=14.5
SNR = 200/14.5=13.8
因此，不管是相加的binning形式還是平均的Binning形式，都能增加sensor的信噪比提高sensor獲取圖像的性能。
因此，我們總結如下：
- Binning 增加了圖形的信噪比
- CMOS N*N binning增加信噪比是原來的N倍。即如果以2*2 binning，信噪比將提高2倍，以3*3 binning，信噪比將提高3倍。
- 相加形式的binnning和平均形式的binning有相同的信噪比大小。