ISP算法高水平分析（下）
十．LSC(Lens Shade Correction)------鏡頭陰影矯正
Lens Shading指畫面四角由於入射光線不足形成的暗角，同時，由於不同頻率的光折射率差別，導致 color shading。因此需要鏡頭影音校正(Lens Shading Correction)。lens shading分爲兩種 luma
shading( 亮度陰影)和 color shading (色彩偏差)。
矯正方法
Shading的矯正方法目前主流有兩種：一種是同心圓法，一種是網格法。
同心圓法的流程爲：
找到RGB三通道的圓心（一般選擇爲同一個點）
以同心圓的形狀將畫面的中心和畫面的邊緣的三通道乘以不同的增益
具體如下圖所示，一般來說考慮shading漸變的曲率從中心到邊緣逐漸增大，所以等增益曲線中心稀疏，邊緣密集。一般來說lens shading的增益最好不要超過2倍，因爲會引入噪聲。
mesh shading的矯正方法，同一個方格中的增益一致，mesh的分佈也是中心稀疏四角密集。
同心圓矯正方法的優點是計算量小，缺點是鏡頭若裝配時稍有不對稱則矯正失敗；網格矯正方法的優點是能夠應對各種shanding情況，缺點是運算量大。
十一. GAMMA矯正
伽瑪校正。傳感器對光線的響應和人眼對光線的響應是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。
十二. CCM（Color Correction Matrix）------顏色校正
顏色校正主要爲了校正在濾光板處各顏色塊之間的顏色滲透帶來的顏色誤差。一般顏色校正的過程是首先利用該圖像傳感器拍攝到的圖像與標準圖像相比較，以此來計算得到一個校正矩陣。該矩陣就是該圖像傳感器的顏色校正矩陣。在該圖像傳感器應用的過程中，可以利用該矩陣對該圖像傳感器所拍攝的所有圖像來進行校正，以獲得最接近於物體真實顏色的圖像。
色彩校正原理
人眼對色彩的識別，是基於人眼對光譜存在三種不同的感應單元，不同的感應單元對不同波段的光有不同的響應曲線的原理，通過大腦的合成得到色彩的感知。一般來說，我們可以通俗的用RGB三基色的概念來理解顏色的分解和合成。理論上，如果人眼和 sensor 對光譜的色光的響應，在光譜上的體現如下的話，基本上對三色光的響應，相互之間不會發生影響，沒有所謂的交叉效應。理想R/G/B光譜響應如下：
而實際人眼對R/G/B的光譜響應如下，RGB的響應並不是完全獨立的。
色彩校正原理
人眼對色彩的識別，是基於人眼對光譜存在三種不同的感應單元，不同的感應單元對不同波段的光有不同的響應曲線的原理，通過大腦的合成得到色彩的感知。一般來說，我們可以通俗的用RGB三基色的概念來理解顏色的分解和合成。理論上，如果人眼和 sensor 對光譜的色光的響應，在光譜上的體現如下的話，基本上對三色光的響應，相互之間不會發生影響，沒有所謂的交叉效應。理想R/G/B光譜響應如下：
而實際人眼對R/G/B的光譜響應如下，RGB的響應並不是完全獨立的。
某款相機的sensor光譜響應曲線如下：
從上圖可以看出，sensor的R/G/B響應曲線和人眼的R/G/B響應曲線是不一致的。而且圖像數據經過ISP的AWB處理之後肯定會存在色偏，因此需要RGB域進行色彩矩陣校正。
色彩校正策略
我們已看到 sensor 對光譜的響應，在 RGB各分量上與人眼對光譜的響應通常是有偏差的，當然就需要對其進行校正。不光是在交叉效應上，同樣對色彩各分量的響應強度也需要校正。通常的做法是通過一個色彩校正矩陣對顏色進行一次校正。校正矩陣如下：
十三. BLC(BlackLevel Correction)------黑電平校正
Black Level 是用來定義圖像數據爲 0 時對應的信號電平。由於暗電流的影響，傳感器出來的實際原始數據並不是我們需要的黑平衡（數據不爲0）。所以，爲減少暗電流對圖像信號的影響，可以採用的有效的方法是從已獲得的圖像信號中減去參考暗電流信號。一般情況下，在傳感器中，實際像素要比有效像素多，像素區頭幾行作爲不感光區（實際上，這部分區域也做了 RGB 的 color filter），用於自動黑電平校正，其平均值作爲校正值，然後在下面區域的像素都減去此矯正值，那麼就可以將黑電平矯正過來了。如下圖所示，左邊是做黑電平校正之前的圖像，右邊是做了黑電平校正之後的圖像。
十四. DPC(Bad Point Correction)------壞點校正
所謂壞點，是指像素陣列中與周圍像素點的變化表現出明顯不同的像素，因爲圖像傳感器是成千上萬的元件工作在一起，因此出現壞點的概率很大。一般來講，壞點分爲三類：第一類是死點，即一直表現爲最暗值的點；第二類是亮點，即一直表現爲最亮值的點：第三類是漂移點，就是變化規律與周圍像素明顯不同的像素點。由於圖像傳感器中CFA的應用，每個像素只能得到一種顏色信息，缺失的兩種顏色信息需要從周圍像素中得到。如果圖像中存在壞點的話，那麼壞點會隨着顏色插補的過程往外擴散，直到影響整幅圖像。因此必須在顏色插補之前進行壞點的消除。
十五. RGBToYUV
YUV 是一種基本色彩空間，人眼對亮度改變的敏感性遠比對色彩變化大很多，因此，對於人眼而言，亮度分量 Y 要比色度分量 U、 V 重要得多。另外，YUV色彩空間分爲YUV444,YUV422，YUV420等格式，這些格式有些比原始RGB圖像格式所需內存要小很多，這樣亮度分量和色度分量分別存儲之後，給視頻編碼壓縮圖像帶來一定好處。
Y ＝16 ＋（0. 257 × R ＋0. 504 × G ＋0. 098 × B）
Cb ＝128 ＋（－0. 148 × R－0. 291 × G ＋0. 439 × B）
Cr ＝128 ＋（0. 439 × R－0. 368 × G－0. 071 × B）
Sharp------銳化
CMOS輸入的圖像將引入各種噪聲，有隨機噪聲、量化噪聲、固定模式噪聲等。ISP降噪處理過程中，勢必將在降噪的同時，把一些圖像細節給消除了，導致圖像不夠清晰。爲了消除降噪過程中對圖像細節的損失，需要對圖像進行銳化處理，還原圖像的相關細節。如下圖所示，左圖是未銳化的原始圖像，右圖是經過銳化之後的圖像。
