目 錄
1. 應用背景... 2
2. 系統框架... 2
3. AI場景識別算法和硬件... 3
4. AR視頻空間管理系統... 5
5. 物聯網及工業互聯網系統... 5
6. 用戶應用終端... 7
7. 應用效果... 9
1. 應用背景
最近有三個項目的技術要求中明確有視頻和AI圖像場景識別的需求，並且佔用了很大的篇幅描述場景需求，即包括硬件也包括軟件。物聯網、視頻AI場景識別、業務應用的整體融合是發展的必然趨勢。
第一個項目是鋼鐵行業的安全雙控系統，要求實時識別危險區域的人員安全行爲、設備及環境的安全場景。
第二個項目是水務行業的智能化實驗室系統，要求對人員進行區域定位、行爲識別、試驗過程記錄等，同時與業務系統進行關聯。
第三個項目是航空發動機數據化製造系統，要求進行勞保防護檢測、危險動作識別、人臉識別和故障設備定位等，同時與生產過程的質量監控、物流/人流、3D三維建模等進行融合。
現在的項目需求呈現麻雀雖小五臟俱全的趨勢，不管項目大小，技術和業務要求涉及到方方面面。
本文主要介紹物聯網及工業互聯網、視頻和AI場景識別構建AR視頻空間大數據平臺的簡要方案。有技術、有產品、有方案。
視頻介紹：
2. 系統框架
AR視頻空間大數據平臺由四層組成：傳感器層、邊緣計算、應用工具平臺層、應用業務層。整體框架，如下圖：
3. AI場景識別算法和硬件
智能視頻監控系統整體建設方案以智能推理平臺爲主，從數據採集終端獲取數據，通過網線網絡傳輸到數據採集控制中心再通過網絡網線將數據推送至智能推理平臺中，搭配人工智能的軟硬件處理，最後以獲取到數據的分析結果進行警報響應。支持的算法，如下列表：
|
1 |
安全帽檢測 |
可對作業區域的人員進行自動識別，若檢測到人員未佩戴安全帽，立即報警。 |
|
2 |
工作服檢測 |
可對進入作業區域的人員進行自動識別，若檢測到人員未穿着工作服，立即報警。 |
|
3 |
反光衣檢測 |
可對進入作業區域的人員進行自動識別，若檢測到人員未穿着反光衣，立即報警。。 |
|
4 |
禁區闖入檢測（區域入侵） |
可對進入作業區域的人員進行自動識別，若檢測到人員，立即報警。 |
|
5 |
皮膚裸露檢測 |
可對進入作業區域的人員進行自動識別，若檢測到皮膚裸露，立即報警。 |
|
6 |
煙火檢測 |
可對作業區域內的煙霧、火焰進行自動識別，若檢測到煙霧火焰，立即報警。 |
|
7 |
抽菸檢測 |
可對進入作業區域的人員進行自動識別，若檢測到人員有抽菸，立即報警。 |
|
8 |
打電話檢測 |
可對進入作業區域的人員進行自動識別，若檢測到人員有打電話的動作，立即報警。 |
|
9 |
室外漏油檢測 |
可對監控區域內設備漏油漏液進行自動識別，若檢測到設備有漏油漏液，立即報警。 |
|
10 |
室內漏油檢測 |
可對監控區域內設備漏油漏液進行自動識別，若檢測到設備有漏油漏液，立即報警。 |
|
11 |
摔倒檢測 |
可對進入作業區域的人員進行自動識別，若檢測到人員有摔倒，立即報警。 |
|
12 |
人員離崗檢測 |
可對作業區域的人員進行自動識別，若未檢測人員，且超過離崗時間，立即報警。 |
|
13 |
睡崗檢測 |
可對監控區域的人員進行自動識別，若檢測到人員有趴桌睡覺，立即報警。 |
|
14 |
翻越圍欄 |
可對進入圍欄區域的人員進行自動識別，若檢測到人員，立即報警。 |
|
15 |
人員聚集 |
可對監控區域的人員進行自動識別，若檢測到人員數量超過限值，立即報警。 |
基於數據流架構的加速芯片，針對深度學習算法推斷功能的計算加速芯片，運行不依賴任何指令集，從而避免了傳統處理器中因取指令及指令譯碼等帶來的芯片運算性能損失。
芯片可以部署在AI邊緣計算盒子、AI智能計算主機和AI智能計算服務器上。硬件如下圖：
硬件內部嵌入系統管理系統，主要負責統計數據及視頻預覽頁面，對當前信息進行集成化展示，便於管理人員方便查看和管理，主要功能包括：控制檯、基礎服務、算法調度、開放能力和系統管理。如下圖：
4. AR視頻空間管理系統
視頻攝像頭和邊緣場景識別計算節點可以接入AR視頻空間管理系統，同時AR視頻空間管理系統與物聯網及工業互聯網系統進行視頻和結構化數據交互，管理系統配置好後，用戶應用終端可以直接操作使用。
管理系統提供的功能包括：資源管理、存儲管理、標籤管理、預案管理、系統接口、國標級聯、平臺級聯、電子地圖、應用鏈接、人員信息、權限管理和系統配置。管理系統如下圖：
5. 物聯網及工業互聯網系統
物聯網及工業互聯網系統主要功能包括：設備驅動、服務驅動、設備模型、業務模型、計算平臺、數據查詢、數據轉發、視圖建模、機器學習、視頻服務、消息管理、流程控制、控制日誌、用戶權限、實時日誌和算法分析。
（1）設備驅動，支持物聯網設備驅動的二次開發和設備驅動上傳、編輯和刪除等管理。
（2）服務驅動，支持物聯網服務（算法、數據統計、業務應用等）驅動的二次開發和服務驅動上傳、編輯和刪除等管理，主要面向複雜數據處理、分析等應用場景。
（3）設備模型，以物理世界構建物聯網映射到系統，支持設備驅動和服務驅動的配置、管理和運行，包括設備信息、數據點、計算預警等。
（4）業務模型，支持根據業務重構設備及數據邏輯關係，支持構建複雜業務模型。
（5）計算平臺，支持數學運算符和函數對數據點進行復雜的計算，支持創建多個計算任務，支持邏輯規劃推理，並對結果進行消息推送。
（6）數據查詢，支持以圖型和列表的形式查詢數據，支持圖型和列表數據的導出。
（7）數據轉發，可以選擇自定義數據點，把數據點通過網絡轉發到其他系統中。
（8）視圖建模，物理硬件數據建模與實時展示的問題，對現實場景進行抽象視圖快速構建，支持2D/3D視圖建模，綁定和展示接入設備實時數據。
（9）機器學習，數據深度挖掘的問題，對設備接入的數據進行過濾、補數、工況標記、選擇機器學習算法，自動訓練模型和工況預測。現在支持決策樹和聚類算法，也可以自定義算法，滿足物聯網數據的模型訓練和模型預測。
（10）視頻轉換，提供了在線實時視頻流轉換服務，把rtsp協議轉換成rtmp協議或websocket協議，滿足低延時實時在組態上顯示視頻流的需求。工業場景矢量園元、圖表和視頻可以集成到一個組態頁面上展示。
（11）消息管理，支持預警和系統消息查詢。
（12）流程控制，聯動控制平臺支持在線開發業務腳本，支持多個生產過程聯動控制任務， 腳本引擎支持6個內置函數：控制命令（ctrl）、控制延遲（delay）、控制啓動（start）、控制停止（stop）、最新數值（getvalue）和打印日誌（log）。
（13）控制日誌，可以查詢手動和自動控制操作過程記錄信息。
（14）用戶權限，增加、編輯和刪除用戶，權限有：工具權限、應用權限和數據點權限。
（15）實時日誌，可以實時查看後臺服務運行和調試過程。
（16）算法分析，對當前數據點進行數據的基本彙總統計：數據量、均值、最大值和最小值等。現在的算法分析平臺包括：快速傅里葉變換、包絡分析、倒頻譜和自相關等。
應用界面如下圖：
6. 用戶應用終端
用戶應用終端功能相關的配置信息說明：
1) 地圖入口屏：在Web後臺管理系統的服務管理和地圖配置中配置
2) 預覽通道：在Web後臺管理系統中資源管理中的導入設備信息和通道信息
3) 報警：在Web後臺管理系統中的預案管理中配置自動預案信息、在系統對接中添加第三方的報警系統信息、關聯對應的抓拍攝像機信息
4) 鏈接：在Web後臺管理的第三方鏈接中配置需要鏈接的第三方鏈接信息
5) 相對位置標籤（PT標籤）：普通球機需在視場角測試工具中導入設備的視場角模板或手動測試視場角信息
6) 自動標籤和手動經緯度標籤：Web後臺管理系統中添加自動標籤規則模板、內容管理平臺中關聯對應的自動標籤規則、內容管理平臺中配置圖層距離、Web服務、設備的可視域範圍、需配置標籤服務、MQ服務、一機一檔信息、設備的高度、視場角模板信息、設備的經緯度、設備的倍率
7) POI自動標籤：需用POI下載工具下載POI資源、導入到數據庫、在Web後臺管理系統中添加POI自動標籤規則模板、在內容管理平臺中添加POI自動標籤規則並關聯POI資源、配置標籤服務、MQ服務
8) 居民信息標籤：需要先Web後臺管理系統中的住戶信息管理中導入房屋、住戶信息模板
9) VR虛擬全景標籤：需要先在Web後臺管理系統中的設備管理和通道管理中添加VR虛擬設備信息和通道信息
10) 平臺級聯：需先在Web後臺管理系統中的平臺級聯中添加相關的平臺信息
11) 室內3D地圖標籤：需要先Web後臺管理系統中的電子地圖中添加3D模型
12) 執法儀、布控球：需先在相關設備端配置對應的連接信息、配置移動網關服務、在Web後臺管理系統中的系統對接中的移動設備中添加執法儀、布控球設備和通道信息
13) 錄像：配置存儲服務、在Web後臺管理系統中的存儲管理中關聯服務器的磁盤信息、相關通道、添加存儲計劃
14) 國標級聯：配置國標服務、流媒體服務、cmms中心服務、設備網關服務、在Web後臺管理系統中的國標級聯中添加上下級平臺信息、同步上下級平臺中的通道信息、導入國標數據、更新到國標服務
15) 周邊數據看板配置：在Web後臺管理系統系統配置中的看板配置中添加相關展示資源信息
16) 地圖巡邏：需在Web後臺管理系統中的電子地圖中的地圖巡邏中添加巡邏路線、巡邏車模型的速度、巡邏時的攝像機
17) 警衛路線：需在Web後臺管理系統中的電子地圖中的警衛路線中添加巡邏路線、車載視頻通道、沿途視頻通道、巡邏車模型的速度
18) 離線地圖：需在Web後臺管理系統電子地圖中的地圖配置修改地圖的配置、在Web服務中的cs文件的amap中添加離線地圖瓦片
19) 無人機：在Web後臺管理系統資源管理中的設備管理和通道管理中添加無人機信息、添加無人機ID、選擇無人機的取流方式、添加無人機的取流URL地址
20) 報警柱：在Web後臺管理系統資源管理中的設備管理和通道管理頁面中添加報警柱設備和通道
21) AR標題logo：在Web後臺管理系統的基礎信息設置頁碼上傳logo圖片
22) 人臉/車輛抓拍記錄：在Web後臺管理系統的系統對接中添加人臉/車輛抓拍系統並同步抓拍系統中的抓拍攝像機
23) 地圖網格：在Web後臺管理系統的電子地圖中的地圖網格頁面添加
24) 防護圈：在Web後臺管理系統的電子地圖中的地圖網格頁面添加，並啓動
主要分爲四大部分：全景展示、預案管理、智能報警管理、標籤管理。其中，全景展示主要包括：全景視頻展示、局部視頻展示等模塊；預案管理主要包括：預案巡航、自動報警預案等功能；智能報警管理主要包括：報警彈窗、報警記錄、報警錄像等功能。
登陸應用終端，顯示當前接入視頻的統計信息和電子地圖，如下圖：
單擊區域下的攝像頭，demo事例應用，如下圖：
7. 應用效果
實景智能管理平臺是基於物聯網、增強現實、智能分析、GIS、大數據與軟件集成等多種先進技術，構建的實景式、網格化立體防控系統，實現在統一門戶下完成廠區重點區域的安保防控業務。
系統支持將實體生產製造及物流設備的實時數據，將企業的生產過程、設備運行情況、質量跟蹤狀態各種數據集成展示，完成實體信息、經營管理、生產流程數據的無縫結合，達到信息充分共享，有利於實時監控防範損失、減少開支，提高生產效率, 實現企業車間生產過程的可視化實時監控，爲企業打造“智慧型生產工廠”。
物聯網&大數據技術 QQ羣：54256083
物聯網&大數據項目 QQ羣：727664080
QQ：504547114
微信：wxzz0151
博客：https://www.cnblogs.com/lsjwq
微信公衆號：iNeuOS