ISP(Image Signal Processor)，即圖像信號處理器，用於處理圖像信號傳感器輸出的圖像信號。它在相機系統中佔有核心主導的地位，是構成相機的重要設備。
ISP內部構成
ISP 內部包含 CPU、SUP IP、IF 等設備，事實上，可以認爲 ISP 是一個 SOC（System On Chip），可以運行各種算法程序，實時處理圖像信號。
ISP 架構
CPU
CPU 即中央處理器，可以運行 AF、LSC 等各種圖像處理算法，控制外圍設備。現代的 ISP 內部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。
SUB IP
SUB IP 是各種功能模塊的通稱，對圖像進行各自專業的處理。常見的 SUB IP 如 DIS、CSC、VRA 等。
圖像傳輸接口
圖像傳輸接口主要分兩種，並口 ITU 和串口 CSI。CSI 是 MIPI CSI 的簡稱，鑑於 MIPI CSI 的諸多優點，在手機相機領域，已經廣泛使用 MIPI-CSI 接口傳輸圖像數據和各種自定義數據。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 兩個接口。內置 ISP 一般只需要 MIPI-CSIS 接口。
通用外圍設備
通用外圍設備指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用於讀取 OTP 信息，控制 VCM 等。對於外置 ISP，ISP 本身還是 I2C 從設備。AP 可以通過 I2C 控制 ISP 的工作模式，獲取其工作狀態等。
ISP功能特性
ISP 作爲圖像處理的核心器件，擁有十分重要的功能，下圖展示了 ISP 處理圖像數據的基本流程。
ISP 處理流程
下面針對 ISP 的主要功能特性進行下介紹。
DEMOSAIC
DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素點上覆蓋着 CFA，光線通過 CFA 後照射到像素上。CFA 由 R、G、B 三種顏色的遮光罩組成，每種遮光罩只允許一種顏色通過，因此每個像素輸出的信號只包含 R、G、B 三者中的一種顏色信息。SENSOR 輸出的這種數據就是 BAYER 數據，即通常所說的 RAW 數據。顯而易見，RAW 數據所反映的顏色信息不是真實的顏色信息。DEMOSAIC 就是通過插值算法將將每個像素所代表的真實顏色計算出來。
FOCUS
根據光學知識，景物在傳感器上成像最清晰時處於合焦平面上。通過更改 LENS 的位置，使得景物在傳感器上清晰的成像，是 ISP FOCUS 功能所需要完成的任務。FOCUS 分爲手動和自動兩種模式。ISP 可以運行 CONTRAST AF、PDAF、LASER AF 等算法實現自動對焦。
EXPOSURE
曝光。EXPOSURE 主要影響圖像的明暗程度。ISP 需要實現 AE 功能，通過控制曝光程度，使得圖像亮度適宜。
WB
白平衡。白平衡與色溫相關，用於衡量圖像的色彩真實性和準確性。ISP需要實現 AWB 功能，力求在各種複雜場景下都能精確的還原物體本來的顏色。
LSC
用於消除圖像周邊和圖片中心的不一致性，包含亮度和色度兩方面。ISP 需要藉助 OTP 中的校準數據完成 LSC 功能。
GAMMA CORRECTION
伽瑪校正。傳感器對光線的響應和人眼對光線的響應是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。
CROP/RESIZE
圖像剪裁，即改變圖像的尺寸。可用於輸出不同分辨率的圖像。
VRA
視覺識別。用於識別特定的景物，例如人臉識別，車牌識別。ISP 通過各種 VRA 算法，準確的識別特定的景物。
DRC
動態範圍校正。動態範圍即圖像的明暗區間。DRC 可以使得暗處的景物不至於欠曝，而亮處的景物不至於過曝。ISP 需要支持 DRC 功能。
CSC
顏色空間轉換。例如，ISP 會將 RGB 信號轉化爲 YUV 信號輸出。
IS
圖像穩定。IS 的主要作用是使得圖像不要因爲手持時輕微的抖動而模糊不清。IS 有很多種，例如 OIS、DIS、EIS。ISP 可以實現 DIS 和 EIS。
事實上，ISP 除了上面提到的主要功能外，還需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等調整功能。
控制方式
這裏所說的控制方式是 AP 對 ISP 的操控方式。
I2C/SPI
這一般是外置 ISP 的做法。SPI 一般用於下載固件、I2C 一般用於寄存器控制。在內核的 ISP 驅動中，外置 ISP 一般是實現爲 I2C 設備，然後封裝成 V4L2-SUBDEV。
MEM MAP
這一般是內置 ISP 的做法。將 ISP 內部的寄存器地址空間映射到內核地址空間，
MEM SHARE
這也是內置 ISP 的做法。AP 這邊分配內存，然後將內存地址傳給 ISP，二者實際上共享同一塊內存。因此 AP 對這段共享內存的操作會實時反饋到 ISP 端。
ISP 架構方案
上文多次提到外置 ISP 和內置 ISP，這實際上是 ISP 的架構方案。
外置 ISP 架構
外置 ISP 架構是指在 AP 外部單獨佈置 ISP 芯片用於圖像信號處理。外置 ISP 的架構圖一般如下所示：
外置 ISP 架構圖
外置 ISP 架構的優點主要有：
能夠提供更優秀的圖像質量
在激烈的市場競爭下，能夠存活到現在的外置 ISP 生產廠商在此領域一般都有很深的造詣，積累了豐富的影像質量調試經驗，能夠提供比內置 ISP 更優秀的性能和效果。因此，選用優質的外置 ISP 能提供專業而且優秀的圖像質量。
能夠支援更豐富的設計規劃
外置 ISP 的選型基本不受 AP 的影響，因此魅族可以從各個優秀 ISP 芯片供應商的衆多產品中甄選最合適的器件，從而設計出更多優秀的產品。
能夠實現產品的差異化
內置 ISP 是封裝在 AP 內部的，是和 AP 緊密的聯繫在一起，如果 AP 相同，那麼 ISP 也就是一樣的。因此基於同樣 AP 生產出來的手機，其 ISP 的性能也是一樣的，可供調教的條件也是固定的，這樣就不利於實現產品的差異化。而如果選擇外置 ISP，那麼同一顆 AP，可以搭配不同型號的 ISP，這樣可以實現產品的差異化，爲給用戶提供更豐富和優質的產品。
外置 ISP 架構的缺點主要有：
成本價格高
外置 ISP 需要單獨購買，其售價往往不菲，而且某些特殊功能還需要額外支付費用。使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT，需要使用額外的元器件。
開發週期長
外置 ISP 驅動的設計需要多費精力和時間。使用外置 ISP 時，AP 供應商提供的 ISP 驅動就無法使用，需要額外設計編寫外置 ISP 驅動。另外，爲了和 AP 進行完美的搭配，將效果最大化，也往往需要付出更多的調試精力。上文也提到，使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT，需要使用額外的元器件，這也是需要花費時間進行處理的。
內置 ISP 架構
內置 ISP 架構是指在 AP 內部嵌入了 ISP IP，直接使用 AP 內部的 ISP 進行圖像信號處理。 內置 ISP 的架構圖一般如下所示：
內置 ISP 架構圖
內置 ISP 架構的優點主要有：
能降低成本價格
內置 ISP 內嵌在 AP 內部，因此無需像外置 ISP 一樣需要額外購買，且不佔 PCB 空間，無需單獨爲其設計外圍電路，這樣就能節省 BOM，降低成本。鑑於大多數用戶在選購手機時會將價格因素放在重要的位置，因此降低成本能有效的降低終端成品價格，有利於佔領市場。
能提高產品的上市速度
內置 ISP 和 AP 緊密結合，無需進行原理圖設計和 LAYOUT 設計，因此可以減小開發週期，加快產品上市的速度。
能降低開發難度
如果使用內置 ISP，那麼 AP 供應商能在前期提供相關資料，驅動開發人員可以有充足的時間熟悉相關資料，而且不會存在軟件版本適配問題，也不存在平臺架構兼容性問題。但是，如果使用外置 ISP，那麼 ISP 供應商往往都不能提供針對某個平臺的代碼/資料，而且一般都存在軟件版本兼容問題，這就需要驅動開發人員付出額的經歷和時間。
使用內置 ISP 當然也有相應的不足之處，具體見上文的分析，這裏就不贅述了。
事實上，鑑於 ISP 的重要性，爲了推廣其 AP，提高其 AP 競爭力，現在 AP 內置的 ISP 也越來越強大，其性能足以滿足手機市場的需求。再加上其一系列優點，現在使用內置 ISP 方案的手機越來越多。