本次筆記整理自NVIDIA 8月20日在線研討會，原講座標題：DEEPSTREAM SDK – ACCELERATING REAL-TIME AI BASED VIDEO AND IMAGE ANALYTICS
演講人：
目錄：
智能視頻分析的應用場景：
應用程序的類型可能不同，但從視頻像素到分析的流程在所有用例中仍然很常見。某些應用程序可能需要在邊緣設備（如NVIDIA Jetson或Prem服務器）上進行處理。邊緣的使用範圍從安全到監控施工現場到製造。對於小型企業而言，ON-Prem Server（本地服務器）可以像基於人工智能的VR網絡錄像機一樣簡單。於其他應用程序，所有處理都可能在雲上進行。DeepStream提供在邊緣或雲上的靈活部署。對於其他應用程序，所有處理都可能在雲上進行.DeepStream提供在邊緣或雲上的靈活部署。Deesptream還集成了Nvidia的遷移學習工具包（TLT），您可以使用TLT爲您的應用程序訓練預訓練模型。經過預先訓練的模型可在NGC上獲得。 您可以從NGC中取出所有內容，使用TLT重新訓練並在deepStream上部署。
這是應用級別的整個deepsteam軟件堆棧。頂部是應用程序。在應用程序層下面是SDK。Deepstream是一個流分析工具包，由各種硬件加速插件組成，可爲任何計算機視覺和I VA應用程序提供最高吞吐量。配置方面，開發者可以利用NVIDIA容器runtime來配置自己的Deepatream應用。NVIDIA docter runtime可以啓用GPU。整個應用都可以在一個Docker Contrainer裏面打包。另外NVIDIA還提供了reference application和 orchestration recipes可以幫助你啓動任何創意項目。最後就是跟雲相連，DeepStream支持使用Azure lOT運行時與Microsoft Azure lOT雲通信。這允許與雲的無縫連接來運行分析和管理設備。
堆棧的下一級是CUDA X，它列出了Deepstream插件使用的各種NVIDIA軟件技術。
在最底部列出了完整硬件堆棧。未來的應用程序可以在NVIDIA Jetson平臺或數據中心上運行
Deepstream 4.0代表了功能可擴展性和可移植性的重大改變。
Deep stream 4.0的靈魂是支持NVIDIA Unified SDK的所有平臺，從新推出的Jetson Nano到數據中心GPU，開發人員可以在一個平臺上開始開發，然後將其移植到同一代碼庫不同平臺上。
Deepstream 4.0提供交鑰匙集成以連接到Microsoft Azure loT hub，我們有消息代理插件。Microsoft Azure loT幫助可用於連接管理和監視IOT邊緣設備。
NVIDIA 爲Deepstream 3.0的GPU產品發佈了部署容器，到了DeepStream 4.0,NVIDIA 提供了對Jetson平臺的容器化部署.
4.0還爲工業和零售用例發佈了新的模型和功能。有新的模型支持單色或灰度圖像的圖像分割。此外，NVIDIA正在添加硬件加速的PEG解碼和編碼。
最後，我們第一次開源了幾個主要的插件源代碼。這爲我們的開發人員提供了更大的靈活性和控制性。 目前正在開源的是推理、解碼和消息插件。
這是從像素到視頻分析的典型構思圖形的高級視圖。攝像機上的像素在預處理後被捕獲解碼並進行預處理。我們將其應用於深度學習或AI以從視頻中獲得一些見解， 這個內部可以在屏幕上查看，或者可以發送到數據中心或雲以進行進一步分析。
這個用於處理和理解視頻或圖像的pipline是工業的，不同行業之間可能存在一些細微差別。但總的來說，工作流程仍然非常相似。
DeepStream SDK是一個流分析工具包。基於開源Gstreamer平臺的即插即用架構。這使得開發人員不僅可以靈活地使用NVIDIA自帶的插件，還可以使用其他開源插件或創建自己的插件並在管道中使用它。
這是一個典型的Ivy管道，由deepstream插件構建，在底部，它顯示了插件使用的底層硬件。第一步是捕獲流數據。這可能來自RTSP流文件或USB或CSI攝像機。捕獲之後，下一步是解碼流。解碼器插件使用NVIDIA的硬件加速解碼引擎。與GPU上的CUDA內核不同。解碼幀之後，可能需要進行一些預處理。這可以是圖像轉換、圖像縮放、裁剪或如果流是來自一個360度攝像頭，然後你需要轉移圖像。對於這個操作有各種各樣的加速器。接下來的操作是推理，它執行對象檢測分類和分割。這是運行在GPU或Jetson AGX Xavier的DLA上。
在進行推理之後，您可能需要跟蹤對象以獲得深入的瞭解，最後一步是使用附加元數據在屏幕上查看視頻，或者僅將元數據發送到雲中進行分析。
這是deepstream SDK中包含的插件列表。
第一個是NVIDIA4linux2，視頻和圖像解碼和編碼插件。
第二個是nvinfer，這是一個推理插件，在各種推理加速器上使用tensorRT，這樣就可以對目標檢測圖像進行分類和分割.
第三個是nvtracker，部署幾個參考跟蹤器，比如KLT、IOU和NvDCF
第四是nvmsgbroker，這允許使用各種協議向雲發送消息。
有關如何使用此插件的更多信息，請參考文檔中的Plugins菜單。
這是在不同NVIDIA平臺上利用Deepstream達到的實時性能。更詳細的信息可以參考NVIDIA Deepstream開發者手冊
下一部分我們將一起來看幾個利用Deepstream SDK的工業案例，敬請大家關注本次話題。
原文發佈於微信公衆號 - 吉浦迅科技（gpusolution）