攝像頭ISP系統原理（下）
l WDR（Wide Dynamic Range）------寬動態
動態範圍(Dynamic Range)是指攝像機支持的最大輸出信號和最小輸出信號的比值，或者說圖像最亮部分與最暗部分的灰度比值。普通攝像機的動態範圍一般在1:1000(60db)左右，而寬動態(Wide Dynamic Range,WDR)攝像機的動態範圍能達到1:1800-1:5600(65-75db)。
寬動態技術主要用來解決攝像機在寬動態場景中採集的圖像出現亮區域過曝而暗區域曝光不夠的現象。簡而言之，寬動態技術可以使場景中特別亮的區域和特別暗的區域在最終成像中同時看清楚。
l 3DNR
3dnr 是結合空域濾波和時域濾波的一種降噪算法。大概思路是檢測視頻的運動水平，更具運動水平的大小對圖像像素進行空域濾波和時域濾波的加權，之後輸出濾波之後的圖像。
l Sharp------銳化
CMOS輸入的圖像將引入各種噪聲，有隨機噪聲、量化噪聲、固定模式噪聲等。ISP降噪處理過程中，勢必將在降噪的同時，把一些圖像細節給消除了，導致圖像不夠清晰。爲了消除降噪過程中對圖像細節的損失，需要對圖像進行銳化處理，還原圖像的相關細節。如下圖所示，左圖是未銳化的原始圖像，右圖是經過銳化之後的圖像。
·
BLC(BlackLevel Correction)------黑電平校正
Black Level 是用來定義圖像數據爲 0 時對應的信號電平。由於暗電流的影響，傳感器出來的實際原始數據並不是我們需要的黑平衡（ 數據不爲0） 。所以，爲減少暗電流對圖像信號的影響，可以採用的有效的方法是從已獲得的圖像信號中減去參考暗電流信號。一般情況下，在傳感器中，實際像素要比有效像素多，像素區頭幾行作爲不感光區（
實際上，這部分區域也做了 RGB 的 color filter）
，用於自動黑電平校正，其平均值作爲校正值，然後在下面區域的像素都減去此矯正值，那麼就可以將黑電平矯正過來了。如下圖所示，左邊是做黑電平校正之前的圖像，右邊是做了黑電平校正之後的圖像。
DPC(Bad Point Correction)------壞點校正
所謂壞點，是指像素陣列中與周圍像素點的變化表現出明顯不同的像素，因爲圖像傳感器是成千上萬的元件工作在一起，因此出現壞點的概率很大。一般來講，壞點分爲三類：第一類是死點，即一直表現爲最暗值的點；第二類是亮點，即一直表現爲最亮值的點：第三類是漂移點，就是變化規律與周圍像素明顯不同的像素點。由於圖像傳感器中CFA的應用，每個像素只能得到一種顏色信息，缺失的兩種顏色信息需要從周圍像素中得到。如果圖像中存在壞點的話，那麼壞點會隨着顏色插補的過程往外擴散，直到影響整幅圖像。因此必須在顏色插補之前進行壞點的消除。
·
RGBToYUV
YUV 是一種基本色彩空間，人眼對亮度改變的敏感性遠比對色彩變化大很多，因此，對於人眼而言，亮度分量 Y 要比色度分量 U、 V 重要得多。另外，YUV色彩空間分爲YUV444,YUV422，YUV420等格式，這些格式有些比原始RGB圖像格式所需內存要小很多，這樣亮度分量和色度分量分別存儲之後，給視頻編碼壓縮圖像帶來一定好處。
Y ＝16 ＋（0. 257 × R ＋0. 504 × G ＋0. 098 × B）
Cb ＝128 ＋（－0. 148 × R－0. 291 × G ＋0. 439 × B）
Cr ＝128 ＋（0. 439 × R－0. 368 × G－0. 071 × B）
·
CROP/RESIZE
圖像剪裁，即改變圖像的尺寸。可用於輸出不同分辨率的圖像。
·
VRA
視覺識別。用於識別特定的景物，例如人臉識別，車牌識別。ISP 通過各種 VRA 算法，準確的識別特定的景物。
·
DRC
動態範圍校正。動態範圍即圖像的明暗區間。DRC 可以使得暗處的景物不至於欠曝，而亮處的景物不至於過曝。ISP 需要支持 DRC 功能。
·
CSC
顏色空間轉換。例如，ISP 會將 RGB 信號轉化爲 YUV
信號輸出。
·
IS
圖像穩定。IS 的主要作用是使得圖像不要因爲手持時輕微的抖動而模糊不清。IS 有很多種，例如 OIS、DIS、EIS。ISP 可以實現 DIS 和 EIS。
·
TestPattern------測試圖像
Test Pattern主要用來做測試用。不需要先在片上ROM存儲圖片數據，直接使用生成的測試圖像，用生成的測試圖像進行後續模塊的測試驗證。以下是常用的兩種測試圖像。
事實上，ISP 除了上面提到的主要功能外，還需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS
等調整功能。
控制方式
這裏所說的控制方式是 AP 對 ISP 的操控方式。
·
I2C/SPI
這一般是外置 ISP 的做法。SPI 一般用於下載固件、I2C 一般用於寄存器控制。在內核的 ISP 驅動中，外置 ISP 一般是實現爲 I2C 設備，然後封裝成 V4L2-SUBDEV。
·
MEM MAP
這一般是內置 ISP 的做法。將 ISP 內部的寄存器地址空間映射到內核地址空間，
·
MEM SHARE
這也是內置 ISP 的做法。AP 這邊分配內存，然後將內存地址傳給 ISP，二者實際上共享同一塊內存。因此 AP 對這段共享內存的操作會實時反饋到 ISP 端。
ISP 架構方案
上文多次提到外置 ISP 和內置 ISP，這實際上是
ISP 的架構方案。
外置 ISP 架構
外置 ISP 架構是指在 AP 外部單獨佈置
ISP 芯片用於圖像信號處理。外置 ISP 的架構圖一般如下所示：
外置 ISP 架構圖
外置 ISP 架構的優點主要有：
·
能夠提供更優秀的圖像質量
在激烈的市場競爭下，能夠存活到現在的外置 ISP 生產廠商在此領域一般都有很深的造詣，積累了豐富的影像質量調試經驗，能夠提供比內置 ISP 更優秀的性能和效果。因此，選用優質的外置 ISP 能提供專業而且優秀的圖像質量。
·
能夠支援更豐富的設計規劃
外置 ISP 的選型基本不受 AP 的影響，因此魅族可以從各個優秀 ISP 芯片供應商的衆多產品中甄選最合適的器件，從而設計出更多優秀的產品。
·
能夠實現產品的差異化
內置 ISP 是封裝在 AP 內部的，是和
AP 緊密的聯繫在一起，如果 AP 相同，那麼 ISP 也就是一樣的。因此基於同樣 AP 生產出來的手機，其 ISP 的性能也是一樣的，可供調教的條件也是固定的，這樣就不利於實現產品的差異化。而如果選擇外置 ISP，那麼同一顆 AP，可以搭配不同型號的 ISP，這樣可以實現產品的差異化，爲給用戶提供更豐富和優質的產品。
外置 ISP 架構的缺點主要有：
·
成本價格高
外置 ISP 需要單獨購買，其售價往往不菲，而且某些特殊功能還需要額外支付費用。使用外置
ISP，需要進行額外的原理圖設計和 LAYOUT，需要使用額外的元器件。
·
開發週期長
外置 ISP 驅動的設計需要多費精力和時間。使用外置 ISP 時，AP 供應商提供的 ISP 驅動就無法使用，需要額外設計編寫外置 ISP 驅動。另外，爲了和 AP 進行完美的搭配，將效果最大化，也往往需要付出更多的調試精力。上文也提到，使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT，需要使用額外的元器件，這也是需要花費時間進行處理的。
內置 ISP 架構
內置 ISP 架構是指在 AP 內部嵌入了
ISP IP，直接使用 AP 內部的 ISP 進行圖像信號處理。內置 ISP 的架構圖一般如下所示：
內置
ISP 架構圖
內置 ISP 架構的優點主要有：
·
能降低成本價格
內置 ISP 內嵌在 AP 內部，因此無需像外置 ISP 一樣需要額外購買，且不佔 PCB 空間，無需單獨爲其設計外圍電路，這樣就能節省 BOM，降低成本。鑑於大多數用戶在選購手機時會將價格因素放在重要的位置，因此降低成本能有效的降低終端成品價格，有利於佔領市場。
·
能提高產品的上市速度
內置 ISP 和 AP 緊密結合，無需進行原理圖設計和 LAYOUT 設計，因此可以減小開發週期，加快產品上市的速度。
·
能降低開發難度
如果使用內置 ISP，那麼 AP 供應商能在前期提供相關資料，驅動開發人員可以有充足的時間熟悉相關資料，而且不會存在軟件版本適配問題，也不存在平臺架構兼容性問題。但是，如果使用外置 ISP，那麼 ISP 供應商往往都不能提供針對某個平臺的代碼/資料，而且一般都存在軟件版本兼容問題，這就需要驅動開發人員付出額的經歷和時間。
使用內置 ISP 當然也有相應的不足之處，具體見上文的分析，這裏就不贅述了。
事實上，鑑於 ISP 的重要性，爲了推廣其 AP，提高其 AP 競爭力，現在 AP 內置的
ISP 也越來越強大，其性能足以滿足手機市場的需求。再加上其一系列優點，現在使用內置 ISP 方案的手機越來越多。
結語
ISP 是相機系統中重要的組成部分，要了解相機系統，就不能不熟悉
ISP。本文從 ISP 內部構成、功能特性、操控方式等角度介紹了 ISP 的各方面知識。另外，本文還詳細的分析了兩種架構的 ISP 方案的優缺點，希望能有所裨益。