技術交流： 請加QQ413940089
概述
做camera驅動開發，必然離不開ISP這個模塊；
但是ISP模塊伴隨着芯片SOC的發展已經越來越複雜，當然功能也越來越多，導致很多理解模糊；
本文主要對Linux系統下ISP驅動架構進行普及介紹
1. 基本概念
ISP --- Image Signal Processing
作用：即圖像信號處理器，用於處理圖像信號傳感器輸出的圖像信號。它在相機系統中佔有核心主導的地位，是構成相機的重要設備
功能： 圖像格式轉換、3A、黑電平校正、壞點校正、鏡頭陰影、2D/3D降噪、色彩增強等；
ISP 內部包含 CPU 、IF等設備，事實上，可以認爲 ISP 是一個 SOC ，可以運行各種算法程序，實時處理
圖 像信號。
2. ISP使用領域
（1）手機、運動相機SDV等消費電子領域
各大手機方案商，高通、MTK、海思等；
以及SDV相機等領域的安霸（出名的就是GoPro）等
關注點主要是圖像的色彩、色域、圖像位深等
（2）安防領域
安康、大華、宇視等品牌商，海思的ISP方案絕對是主導地位；
關注點主要是多場景的清晰度、高動態等
（3）ADAS智能駕駛領域
最近這幾年新起的智能駕駛，也逐步對ISP依賴越來越大；
單目、雙目、環視等；
關注點主要在圖像的紋理、輪廓等，反正就是對圖像的識別有益的地方
3. ISP架構方案
主要分爲外置和內置ISP架構
（1）外置ISP架構
外置 ISP 架構是指在 AP 外部單獨佈置 ISP 芯片用於圖像信號處理
外置 ISP 架構的優點主要有：
- 能夠提供更優秀的圖像質量
在激烈的市場競爭下，能夠存活到現在的外置ISP 生產廠商在此領域一般都有很深的造詣，積累了豐富的影像質量調試經驗，能夠提供比內置ISP 更優秀的性能和效果。因此，選用優質的外置ISP 能提供專業而且優秀的圖像質量。
- 支持更豐富的設計規劃
外置 ISP 的選型基本不受AP 的影響，可以從各個優秀ISP 芯片供應商的衆多產品中甄選最合適的器件，從而設計出更多優秀的產品
- 實現產品差異化
內置 ISP 是封裝在 AP 內部的，是和 AP 緊密的聯繫在一起，如果 AP 相同，那麼 ISP 也就是一樣的。因此基於同樣 AP 生產出來的手機，其 ISP 的性能也是一樣的，可供調教的條件也是固定的，這樣就不利於實現產品的差異化。而如果選擇外置 ISP，那麼同一顆 AP，可以搭配不同型號的 ISP，這樣可以實現產品的差異化，爲給用戶提供更豐富和優質的產品。
外置 ISP 架構的缺點主要有：
- 成本價格高
外置 ISP 需要單獨購買（AP端ISP就會浪費掉），其售價往往不菲，而且某些特殊功能還需要額外支付費用。使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT ，需要使用額外的元器件
- 額外的硬件開發和驅動開發
外置 ISP 驅動的設計需要多費精力和時間。使用外置 ISP 時， AP 供應商提供的ISP 驅動就無法使用，需要額外設計編寫外置 ISP 驅動。上文也提到，使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT ，需要使用額外的元器件，這也是需要花費時間進行處理的。
（2）內置ISP架構
內置 ISP 架構是指在 AP 內部嵌入了 ISP IP，直接使用 AP 內部的 ISP 進行圖像信號處理
內置 ISP 架構的優點主要有：
- 能降低成本價格
內置 ISP 內嵌在 AP 內部，因此無需像外置 ISP 一樣需要額外購買，且不佔 PCB空間，無需單獨爲其設計外圍電路，這樣就能節省 BOM ，降低成本。鑑於大多數用戶在選購手機時會將價格因素放在重要的位置，因此降低成本能有效的降低終端成品價格，有利於佔領市場
- 能提高產品的上市速度
置 ISP 和 AP 緊密結合，無需進行原理圖設計和 LAYOUT 設計，因此可以減小開發週期，加快產品上市的速度。
- 能降低開發難度
如果使用內置 ISP，那麼 AP 供應商能在前期提供相關資料，驅動開發人員可以有充足的時間熟悉相關資料，而且不會存在軟件版本適配問題，也不存在平臺架構兼容性問題。但是，如果使用外置 ISP，那麼 ISP 供應商往往都不能提供針對某個平臺的代碼 /資料，而且一般都存在軟件版本兼容問題，這就需要驅動開發人員付出額的經歷和時間。
特別注意： 這些優缺點其實也不一定，主要是手機類消費電子可能是這種特性；
不同的領域產品由於涉及到軟硬件限制等，可能更傾向於選外置ISP，
畢竟內置ISP的調試方法是需要原廠全方位支持的
（如果只是小公司做功能的話，在沒有量的前提下，這種大廠的支持也是比較困難的）
3. ISP處理流程
黑電平校正： 暗電流指傳感器在沒有入射光的情況下，存在一定的信號輸出，這是由於半導體的熱運動造成的
顏色插值：原始像素只包含一種顏色的信息（R 或G 或B），要重建色彩畫面，就必須從相鄰的像素中得到失去的信息
顏色校正：由於人類眼睛可見光的頻譜響應度和半導體傳感器頻譜響應度之間存在差別，還有透鏡等的影響，插補後得到的RGB 值顏色會存在偏差
Gamma 校正：亮度和電流之間的關係並非是線性, 保持線性關係
AWB：果使用過沒有白平衡的數碼相機，會發現熒光燈的光人眼看起來是白色的，但用數碼相機拍攝出來卻有點偏綠。同樣，如果在白熾燈下，拍出圖像的色彩就會明顯偏紅。人類的眼睛之所以把它們都看成白色，是因爲人眼進行了修正
AE：自動控制曝光時間，達到曝光恰到好處的效果
其實還有很多功能，這裏就不一一介紹了
4. ISP 3A實現原理
上面介紹了很多ISP的功能，當然一般關注最多當然是3A實現功能模塊。
3A算法： 即AE,AWB,AF （自動曝光、自動白平衡、自動對焦），自動對焦我用的較少就不介紹了
5. ISP 驅動架構
一般ISP模塊包括軟件算法和硬件算法，將固定算法硬件化然後需要變動的用軟件算法實現。
