http://blog.csdn.net/cjsycyl/article/details/8029424
安防監控正在步入高清化、智能化時代，海思推出的Hi3516正是針對高清IPCamera的一款專業高端SOC芯片，除了[email protected]多碼流編碼、優異的ISP和編碼視頻質量優勢外，其高性能的智能視頻分析加速引擎和基於此的智能視頻分析集成應用更是該產品的一大亮點。
從圖1中我們可以看到Hi3516在圖像處理系統中增加了IVS ENGINE，即智能視頻加速引擎，簡稱IVE。
圖1：Hi3516功能框圖
這個加速引擎的主要作用就是將智能視頻分析算法運算中頻繁調用且消耗資源較大的主要算子實現硬化，以減少底層運算對CPU資源的消耗，節省CPU資源來做更多的智能分析應用。
基於硬化的IVE以及強大的CPU，Hi3516芯片可根據用戶需要，開發各種智能視頻分析應用，包括通用類功能，如周界防範、視頻質量診斷、人臉檢測，也可以開發行業專用類功能，如自助銀行專用功能“ATM異物加裝檢測”等。
本文將對智能視頻加速引擎及其應用進行介紹。
首先介紹最常見的智能視頻分析功能--周界防範與加速引擎的關係。周界防範功能屬於智能視頻行爲分析，其核心模塊包括：運動目標檢測、運動目標跟蹤、運動目標分類、安全規則判別。其中運動目標檢測與跟蹤模塊是整個處理流程的基礎，這兩個模塊互爲反饋，關聯性強。
運動目標檢測的目的是將視頻場景中的運動目標從背景中分割出來。由於光照的變化、背景混亂運動的干擾、運動目標的影子、攝像機的抖動以及運動目標的自遮擋和互遮擋現象的存在等等，都給運動目標的正確檢測帶來極大的挑戰。而運動目標的檢測影響着後期的跟蹤和分類，是智能視頻監控技術中的關鍵。
運動目標跟蹤是在運動目標檢測的基礎上，利用目標的有效特徵，使用適當的匹配算法，在序列圖像中尋找與目標模板最相似的圖像位置，對目標進行定位。在實際應用中，運動目標跟蹤不僅可以提供目標的運動軌跡和準確定位目標，爲下一步的目標行爲分析與理解提供了可靠的數據來源，而且也可以爲運動目標檢測提供有效反饋，對目標檢測進行修正更新，從而形成一個良性循環，因此運動目標檢測和運動目標跟蹤算法是密不可分的，相輔相成。
運動目標分類是在運動目標檢測和跟蹤的基礎上，通過對運動目標進行有效特徵提取，分類器訓練，對視頻圖像中的人、車、動物進行準確分類。其中，特徵提取用於提取目標的空間特徵和時間特徵；分類器的訓練通過細化分類採用多特徵的樹型分類器，逐層細化分類，提高分類器的準確性。
安全規則判別是在運動目標檢測、跟蹤、分類的基礎上，得到準確的目標信息，通過判斷當前時刻目標的行爲特徵是否違反了用戶自定義的安全規則，從而觸發報警。其中安全規則判別也就是最終形成了用戶應用功能，如周界入侵（進入、離開、出現、消失）、單警戒線、多警戒線、逆行、徘徊、異常速度、非法停車、計數、PTZ跟蹤等等。
下圖爲智能視頻行爲分析處理流程圖。
圖2：智能視頻行爲分析處理流程圖
根據長期的實際工作測試，智能視頻行爲分析算法最大的資源消耗部分就在於檢測模塊，基本佔用全部消耗的80%以上。
以一個檢測分辨率CIF格式、時長3分30秒、光照度間歇變化、人車目標持續出現的典型的視頻序列爲例，在Hi3520芯片上應用周界檢測、絆線、逆行、徘徊功能進行測試，各模塊消耗的資源如下表所示：
表1：各模塊資源消耗數據表
各模塊消耗資源分佈圖如圖3所示：
圖3：各模塊消耗資源分佈圖
從Hi3516提供的硬化算子來看，其選取了與運動目標檢測模塊關聯性強且本身消耗資源大的部分的主要算子進行了硬化，涉及圖像下采樣、色彩空間轉換、濾波器、形態學處理、梯度與邊緣處理、圖像運算操作、塊統計等多個方面。
該類硬化算子稱爲智能視頻引擎IVE。IVE是硬件方式實現了智能視頻分析算法中的圖像處理基礎算子，大大提高了基礎算子的運算效率，爲智能視頻分析技術的實時性以及多算法的並行性提供了技術手段。
IVE提供的圖像以幀級運算爲主，主要包括圖像操作算子（兩幅圖像減操作、兩幅圖像閾值化操作、兩幅圖像與操作、兩幅圖像或操作）、高斯濾波算子、數學形態學算子（腐蝕、膨脹）、sobel邊緣算子、圖像比較算子、積分圖算子、直方圖統計算子。IVE所提供的基礎算子是智能視頻分析中使用頻率較高的算子，這樣可以最大限度提升智能分析算法的效率。IVE的硬化算子會頻繁應用於檢測器模塊，包括幀間差分（圖像操作算子）、背景差分（圖像操作算子）、圖像平滑（高斯濾波算子）、邊緣檢測（sobel邊緣算子）、閾值分割（圖像比較算子）、噪聲過濾（數學形態學算子）等等。
經測試，IVE對運動目標檢測算法性能的提高可達40%左右。
接下來介紹基於Hi3516 IVE的另一項重要的智能視頻分析應用--視頻質量診斷。該應用以計算機視覺原理爲基礎，針對視頻圖像出現的雪花、滾屏、模糊、偏色、畫面凍結、增益失衡和雲臺失控等常見攝像頭故障做出準確判斷，併發出報警信息，及時有效地報告因硬件導致的圖像質量問題從而避免所帶來的不必要損失，同時檢測破壞監控設備的行爲，保證監控系統的正常工作。
該應用的主要功能包括：
1.視頻信號亮度異常檢測
自動檢測視頻中由於攝像頭故障、增益控制紊亂、照明條件異常或人爲惡意遮擋等原因引起的畫面過暗、過亮或黑屏。
2.視頻信號清晰度異常檢測
自動檢測視頻中由於聚焦不當、鏡頭損壞或異物遮蔽引起的視野主體部分的圖像模糊。自動檢測鏡頭對準無意義物體的情況。
3.視頻信號噪聲檢測
自動檢測視頻圖像中混有雜亂的“橫道”、“波紋”或一陣陣雜亂的飛點、刺、線狀干擾導致的圖像模糊、扭曲、雪花、抖動或滾屏等噪聲現象。
4.視頻信號偏色檢測
自動檢測由於線路接觸不良、外部干擾或攝像頭故障等原因造成的視頻中的畫面偏色現象，主要包括全屏單一偏色或多種顏色混雜的帶狀偏色。
5.視頻信號缺失檢測
自動檢測因前端雲臺、攝像機工作異常、損壞、人爲惡意破壞或視頻傳輸環節故障而引發的間發性或持續性的視頻缺失現象。
6.畫面凍結檢測
自動檢測由於視頻傳輸調度系統故障一起的視頻畫面凍結，避免遺漏真實的現場視頻圖像。
7.PTZ失控檢測
自動檢測前端雲臺和鏡頭是否出現旋轉失控狀態。
8.人爲干擾檢測
自動檢測由於人爲惡意行爲引起的畫面遮擋等現象。
在這個應用系統中可分爲三部分：塔基、塔身、塔頂。塔基負責收集數據和初步加工數據；塔身部分負責根據初步數據得出9種特徵的評價結果；而負責觸發告警的塔頂部分，用戶在此可調節的高級參數，並且根據自身應用需要變化報警策略。
圖4 自下而上的數據金字塔
在塔基和塔身部分主要完成以下三個處理過程：
1.數據源
根據技術樹(圖5)表示，所有功能由9個特徵完成。而9個特徵的提取源於3類數據源，分別是：RGB圖、梯度圖、亮度圖。因此在這3個數據源的數據加工中存在着公用數據或結論，可以大幅減少相同數據的重複運算，正是硬件加速引擎的主要方面；另一方面是規格化的加工手段，通過儘可能相同的流水線處理來規格化特徵的提取，使不同的特徵提取過程使用儘可能多的相同的處理子模塊，從而達到資源的最大化利用。
圖5 技術樹和9種特徵
1.指標統計
統計方法使用：直方圖，均值和方差，FFT變換。其中首先把CIF圖像(352×288)進行橫縱4×4等間隔劃分成16塊(88×72)（見圖6），然後分別對每個區域進行直方圖、均值和方差分別統計，這樣不僅在塊區域分析時可以使用數據結果，而且在整幅數據統計時，僅需要簡單把各個塊信息進行簡單對應相加即可。這不僅可以用於亮度圖、RGB圖的處理,還可以用於梯度圖。對於FFT變換，則直接對彩色圖進行運算。詳情見表二。
圖6 劃分爲16塊區域的圖像
表2 數據源與統計方法
1.指標差異分析
差異分析主要使用：時域幀差、空域求比、頻域求比等手段。
時域幀差：用於統計t時刻圖像與t+k(k根據需要可以取1,2，…63)時刻圖像的差異，若正常視頻應該始終在各個特徵保持在一個恆定水平，時域幀差可以使圖像在時間域上的變化得以顯現並統計。
空域求比：對於16個塊的統計，可以爲每個塊在每個數據源上做出一個二值判定以表徵此塊是否處於異常，再通過對異常塊佔全部塊（16塊）的比例來判定整個圖像是否處於異常。
頻域求比：用於統計某一頻段內像素出現次數佔總頻段次數的百分比，來評估像素的分佈特性。例如可以通過大於200亮度值的像素數與總圖像素的比例來判斷整圖是否亮度過亮。
塔頂部分報警觸發是用戶最終需要的產品功能。此功能可根據不同場景和目標以及用戶個性需求表現出不同的靈敏性和傾向性。爲了達到這一目的，報警策略設置完全開放給用戶。用戶可以根據需要設定閾值門限、增強或減弱所希望的特徵（甚至屏蔽掉無效特徵），以達到準確檢測的目的。
基於Hi3516 IVE提供的硬化算子，配合上層的算法處理和規則判斷，可以用較少的資源來實現視頻質量診斷的應用。
結束語：
Hi3516獨有的智能視頻加速引擎IVE，爲智能視頻的深入應用提供了優秀的平臺。而且內核採用了ARM CortexA9處理器，並帶有256K的二級緩存，其優異的媒體處理引擎（MPE）、浮點運算單元（FPU）、單指令多數據流（SIMD）等技術更是爲智能視頻分析技術應用提供了無限的優化空間。
我們相信Hi3516芯片的推出，將對監控行業的高清化、智能化發展起到強勁的推動作用。