視頻場景數據處理及模型訓練
時間：2020年5月29日
講師：NVIDIA高級解決方案架構師張海軍主要負責NVIDIA Jetson系列產品技術及架構相關的解決方案。
【直播回放】
EasyDL-Jetson視頻場景數據處理及模型訓練：https://www.bilibili.com/video/BV1X54y1D77J
【課程筆記】
課程大綱：
- 視頻應用場景分析及行業介紹
a) AI在視頻行業中的應用
b) 視頻應用流程及痛點 - 視頻應用開發實踐
a) EasyDL training簡介
b) Jetson平臺在邊緣端上的應用
c) DeepStream SDK簡介
d) 使用DeepStream來解決智能結算應用中的分類問題
首先，視頻應用目前在全球或者國內都有非常廣泛的應用，覆蓋許多行業。
- 寫字樓或者地鐵、安檢、機場都有深度ID比對，人臉識別，或者其他的行爲檢測，行人的聚集點，有非常多基於圖像的應用。
- 車站內的逃票或者丟失尋找的視頻視覺的應用。
- 檢測場景，在手機制造和PCB，芯片製造行業都會遇到很多的檢測問題，比如良品率的問題，傳統的焊接會產生各種各樣的漏焊或者不規則導致的缺陷，利用這個可以解決傳統的算法，來檢測無法避免精度的問題，能夠帶來很好的效率，同時也能處理大量的數據，因爲在不停迭代生產過程當中，隨着不同產品，包括缺陷的多樣性，對缺陷檢測帶來了挑戰。
- 交通場景，視頻應用是一個非常典型的案例，它給整個城市交通疏解和調度帶來了很大的便利，整個城市的視頻數據是一個非常大的數量級，不僅需要很高的算力，同時也要求有很高的實時性。
- 零售場景，在大型商場裏不但有安全相關的需求，同時有一些消費類的畫像，用戶消費習慣的跟蹤，還有能夠實時捕獲，實現零售行業的無人化、智能化以及高效化。
- 物流行業中，目前國內大部分物流分揀以及打包包括運輸都已經實現基於視覺或者輔助傳感器的自動化，同時給這個行業帶來很高的效率，同時能夠減少人力的成本。
- 在更大範圍場景裏，例如機場，可能利用人爲或其他方式無法很好解決，利用視頻就可以非常容易覆蓋更多的信息，解決調度的問題。
- 在安全性方面，也有非常廣泛的應用，特別是像人員比較密集，以及車輛和其他的安全性，這種視頻類的應用也是非常廣泛，也是非常迫切的需求。
可以看到前面列舉幾個比較典型的例子裏，也能夠看到整個視頻應用的場景非常典型，都是處理基於視頻相關的，也就是處理圖像或者視頻應用。然後通過解碼做預處理，然後到深度學習的網絡，然後對輸出的結果做二次處理，你可以傳送到雲端做一些調度，也可以在現場直接做實施的交互相應，整個的應用非常的類似，相似度非常高。針對這些相似度非常高的應用，我們就很容易標準化這樣的框架來優化整個pipeline，達到提升應用的能力。截止到今年的統計，大概全球有10億個像這樣的視頻部署，也就是說視頻應用幾乎所有的傳感器裏最多的，因爲基於圖像的信息非常的豐富，而且多樣化，也是其他所有傳感器是不能比擬的。
下面介紹一下我們今天實踐的內容。一個完整的應用會從數據採集到訓練到後期的部署，這三個步驟裏，第一個是要解決數據採集的問題，數據來源於生產和生活，也是我們用戶掌握的。第二步就是訓練。第三步就是選擇合適的平臺，根據業務場景，通過推理來解決實際的問題。
今天我們這個DEMO模型是通過EasyDL訓練得到的，EasyDL前面幾節直播課都有非常詳細介紹。EasyDL它支持很多種類的模型，同時有專業版和經典版可以供大家選擇，經典版就相對比較步驟簡單明瞭，專業版也適合有定製化需求，有更高定製化目的做更深層次的模型的訓練和定製化。整個界面非常簡潔，用戶只需要上傳數據，然後打自己的標籤，選擇合適的模型，訓練完以後就可以拿到自己的模型，可以通過EasyDL部署，也可以通過其他的方式，今天我就給大家介紹通過Jetson的DeepStream來做部署。
在這之前我給大家介紹一下Jetson這個平臺，Jetson平臺目前已經有Nano，TX2，Xavier，NX，8G/16G，算力從1.5T到21T，到性能最高的32T，功耗從5W到15W一直到最高的30W，能夠覆蓋到比較常見的像視頻應用以及輔助駕駛，機器人，以及各種無人車，這種非常典型的應用，30W的應用是最高的一款，同時性能也是最高的，大家可以根據不同的場景選擇使用哪款產品，Nano保留了經典的接口，比如說PCIE等很多主流的接口，算力較低，功耗較低。更爲複雜的，比如說對傳感器要求比較高，針對無人車的應用或者機器人應用，你可以選擇TX2，接口非常豐富，算力也非常突出，同時支持mipicamera這樣的傳感器，最高支持2個lane6路，很適合做傳感器融合，同時兼顧深度學習的應用。再高端的NX，它能夠提供更高的算力，如果你的實際應用對算力比較敏感，NX是比較好的選擇，功耗和TX2一樣，算力高很多，接口較少一些。Xavier是我們裏面接口最全，也是算力最高的，你可以當做一個小的服務器在輔助駕駛裏用也是非常合適。不管是硬件還是軟件都會給大家統一的架構，很多的底層的硬件接口都是統一的，版本也是統一的，每次我們發佈新的版本都會涵蓋所有產品系列，版本是統一的。如果你的應用在不同的平臺之間來回切換非常容易，沒有額外的成本，是在統一的架構裏。
我們知道不管是IVA還是機器人還是無人車的應用，針對不同的行業、場景以及應用都會對產品本身有很高的定製化的要求，我相信僅僅依靠硬件定製滿足產品需求基本是不可能，因爲需求多變，在前期不確定的情況下，高度的靈活，以及後期滿足不停的迭代需求，這樣必然是軟件定義的架構，也就是說硬件提供最基本的計算能力，應用場景通過軟件不同實現來滿足。比如說機器人或者無人車這種直接交互的應用，感知、決策和推理這是三個主要的方面，這是一個完整的循環，在實際應用場景裏，感知是獲取環境當中的圖象數據、超聲波或者紅外，基於感知數據基礎之上，利用GPU加速推理相關的結果，做出相關的決策，同時適應周圍環境的變化，解決實際的問題。所有這些應用都會基於最核心的幾個lowlevel庫，最上一層是各種應用和framework，EasyDL，具體的應用比如基於紅外或者路徑規劃的，這就是滿足行業不同的需求。
Jetson目前圍繞整個行業的需求也衍生出非常多的partner，在整個生態裏圍繞用戶的需求出現非常多的，比如說定製硬件，做各種載板，提供各種算法的，最終目的就是爲了解決實際場景，用AI也好，嵌入式也好，都是爲了解決實際的問題。在Jetson上做一個解決實際問題的產品非常快速，因爲你不需要從0到1，把所有東西都自己實現一遍，合理的利用生態裏的產品，更快的把精力放在你擅長的方面，這是JetsonSoftware的stack。上層是我們的硬件，中間是DeepStream，IsaacSDKs，處理各種矩陣計算和視頻相關的加速庫，這些典型的庫都有Jetson上面的硬件支撐，下面會詳細給大家介紹。DeepStream解決IVA行業相關應用，我們把所有典型的IV應用需要的環節覆蓋到，我們設計這樣的環節，有高度優化，不管是客戶還是開發者，直接利用這樣的框架實現自己的實際的應用，不需要再解決如何解碼，如何搭建整個框架，優化pipeline，這些都在DeepStream裏做好了。Isaac是針對機器人或無人車上推出的SDK，但是它是由底層加速盒和硬件支撐的，非常高效。
DeepStream它是基於開源的Gstreamer框架，是plugin的形式，通過流式的傳遞到每個環節，流動到每個plugin，能實現自己相關的功能，用戶或者開發者都可以自己通過不同的plugin組合解決實際的問題。可以看到，DeepStream裏面實現的功能，首先DeepStream對IVA的典型應用就是解碼，這是非常重要的環節，因爲有不同的格式，比如USB或者MIPIcamera，有可能是其他的，比如黑白或紅外的，這些輸入的支持和讀取解碼已經在DeepStream集成好，你根據自己的需要配置成不同的模式就可以。下一步就是decode，基於Gstreamer構建推理引擎，也就是說所有應用直接可以在DeepStream上跑。同時DeepStream對不同的網絡以及後續的根算法，以及360鏡頭這種視頻的校正，還有其他的，跟雲端的通信，比如說IOT相關應用，消息的發佈，以及分佈式，像這樣典型的應用，裏面會涉及到各種通信的協議以及如何部署發佈，以及多視頻的管理，包括stream管理，都在DeepStream裏已經做好，用戶只需要簡單的配置就可以利用起來。同時Jetson所有內存之間是統一的，不管是GPU還是不同的processor之間互相的流動，它是內存直接可以共享的。
再進一步，面向非常高層的，比如你可以選擇在大卡上部署，也可以在雲端部署，也可以在jetson上部署應用，直接解決相關的問題，把得到的解果存儲下來，或者分析的數據通過我們已有的組件跟雲端交互。同時提供了Transferlearning，可以在DeepStream裏應用，IOT分佈式的應用就可以很容易部署大規模的IVA的應用。
下面DeepStream的底層就是我們的硬件或者是TESLA，DeepStream都是可以運行的。最上層就是CUDA，衍生了很多應用，這個CUDA包括各種硬件編輯碼都可以在Deepstream裏訪問到。在這之上就是跟編解碼和轉接碼，做縮放和格式轉化的，這些都已經封裝在DeepStream裏了，有很多常見的編碼都是支持的，包括H264/265/RTSP，還有IOT相關的應用，DeepStream裏已經把這部分綠色的，包括IOT相關的協議已經做好，而且大部分的案例都有相關的原碼供大家參考，最上層就是利用DeepStream解決實際的問題，這是用戶定義的。
接着往下走，這是DeepStream內部的framwork，前面介紹的比較關鍵的是capture，然後是decode，然後是inference，這裏會更加詳細給大家展示這樣的流程。第一步是基於多媒體的應用，可以是視頻或圖像，通過網絡獲取一些網絡流，或者訪問USB，或者是mipicamera，第二步就是利用Jetson集成硬件的DECODE，DeepStream已經做了集成，底部的差異，比如在Jetson和大卡上切換已經做了隱藏，你只需要簡單的配置，並不需要關注底層，就可以做到非常高性能的編解碼性能，比如Nano支持8路1080P30幀這樣的解碼。再一步就是非常關鍵的，也就是在很多平臺裏都會遇到的，不管是做Training還是inference，就是格式轉化，同時要做浮點轉化，做一個縮放，這些都是非常常見的應用，這些是實時的過程，對算力和性能都有一定的要求，如果在CPU做基本很難做到實時，在Jetson上就有很多種選擇，比如用我們專用的硬件VIC來做各種轉化，也可以用我們的GPU實現這些預處理，這些非常關鍵，因爲在實時預處理當中，你留給解碼的時間是非常少的，因爲30幀的應用就33.333毫秒，後面還有一個非常好的性能，所以要合理安排每一步每一環節的性能都要足夠，才能達到實時的應用。如果是多路的視頻應用會涉及到gstream處理，多路視頻流管理，這部分會有DeepStream的plugin，會有這樣的插件管理，幫大家做，大家可以動態的配置調整。後面就是分類應用，可以在GPU上跑，如果是inference，如果是Nano可以在GPU上跑。後面涉及到二級網絡、三級網絡、四級網絡，比如做tracking，可以在GPU上跑，也可以在PVA上跑，簡單的可以在CPU，複雜的建議在專用的處理器上做，GPU或者PVA，達到實時的效果。後端可以把原來的圖像做縮放，你可以選擇存到本地，或者通過集成rtspserver直接輸出到一個端口，就可以實時拉到這個視頻流，所有這些都在DeepStream已經做好了。
下面就是DeepStream裏的核心框架的各種插件，這些插件來回組合就能滿足你非常多的應用。簡單給大家過一下，第一個是編解碼，會調用底層的編解碼硬件。第二會調用DLA和GPU，第三個是我們已經實現的跟蹤算法，比如KLT、IOU、NvDCF，對CPU佔用非常低，效果也是最好的一個。下面是關於消息的傳遞和雲端交互，IOT場景會用到。下面是多路視頻管理，包括語言管理，下面是render，在各種圖像上操作都可以用這個，這個是用GPU做的，非常高效。再下面是視頻管理，你可以有32路，可以renders到不同的應用裏去，有不同的排除組合下面是通過EGL加速渲染做各種顯示用的。Scaling做格式轉化和縮放，包括旋轉去噪，這個功能也非常強大，DeepStream已經封裝在videoconvert這樣的插件裏。下面是關於魚眼的校正，下面是數據校正，一級網絡想傳輸給二級網絡，可以通過這個插件做。再下面是顯示模塊，關於分割的顯示插件。再下面是光流，更多的詳細信息可以登錄我們的官網瞭解。
下面就是我們今天介紹CASE，第一個是直接從視頻文件裏讀取，第一步會做DECODE，第二步做一個EdgeBoard，再後面是分類，因爲解決水果稱重這樣的問題，你首先要定義屬於哪一種水果蔬菜，基於這個才能得到它的重量和價格，這是實時交互的應用，也就是它對速度和精度都有很高的要求。再後面可以下載或者生成一個流給第三方看。
這裏首先給大家介紹一下DeepStream，剛纔已經介紹了很多的核心的插件，我們只需要通過配置就可以實現這些功能。第一個給大家介紹一下實際案例用到的配置的含義，以及實現的是什麼功能。首先GPU—ID，在Jetson上一直都是0，在一些大卡有很多的GPU，你可以直接運行。下面是scaleing，再下面是softmax，它跟後面講到的mean，這兩個二選一都可以，model是我們原始的網絡，今天這個就是用EasyDL訓練得到的網絡模型。classifier是網絡文件，這兩個是必須的。下面是engine，優化好以後可以保留下來，它的速度非常快，體積也會減少，也不需要重新做一次處理和優化。下面就是layer分類，下面是本次網絡的輸出，再下面是默認的batch維度，batch是8，這是常見的參數。再下面是Notebook可以選擇運行在16的模式或者8，因爲這個是在nano上做的，支持IP16，所以我們選擇2，如果在Xavier可以選擇8，目前是一級網絡，我們直接輸出的是分類的結果，如果網絡級聯可以選擇二級或者三級或更多。Model-color就是你的模型接受的顏色格式。
下面是gie—unique，它是非常重要的，下面也是同樣的輸出，然後有一個選擇是閾值是多少，目前運行的是Classifier，還有分割的，還有其他的，tensor-meta是一個結果傳輸，如果用多網絡級聯，這個是非常好用，用來傳遞結果數據，可以自定義，把這些結果數據傳遞到下一級網絡做各種定製化操作。這個涵蓋了各個方面，也是非常的豐富，基本上大部分的核心功能都通過配置文件的形式給大家實現好了。
我已經提前把DEMO原碼放到了這個位置，DeepStream你在Jetson刷機以後默認會安裝在/opt下面，包括很多的sample，我們直接按照這個步驟進去，給大家編譯演示一下。
我們直接切到JetsonNano上面，我已經進到原碼裏去了，給大家看一下，配置文件剛纔給大家介紹了，是一樣的。同時原碼也是剛纔需要的幾個文件，這個文件已經編譯過了，直接用默認版本就可以了，這個已經編譯過了。因爲DeepStream默認的是支持端上，可以在雲端部署，也可以在端上部署，這個是在端上部署，跑這個DEMO，制定一個文件，告訴它用哪個文件，運行一下。
這是一個水果蔬菜的分類，第一個是胡蘿蔔，已經識別出來了，第二個是土豆，再下面是西紅柿，可以看到清晰度、分類都已經展示出來了。再看一遍，還是相對比較穩定，這是Nano上運行的，而且幀率是實時的，也就是說這樣的網絡在Nano上運行已經能達到至少30幀，給大家看一下，通過tegrastats可以監控一下GPU的利用率。這裏有一個GRD3D，GPU頻率是921，前面百分比有的時候不是99%的狀態，也就是說當前這個應用並沒有把整個GPU性能佔滿，也就是說它還有一定的空間，這就是DeepStream應用的案例，DeepStream還有更多的應用，可以來NVIDIA的官網查看。
下面就是QA環節。
Q：有同學問DeepStream是哪個版本？
A：當前這個DEMODeepStream是我們最新的版本，5.0版本。對應是jetpack4.4的DPrelease。
Q：Nano已經把GPIO制定好了，有GPIO模塊或定製圖紙嗎？
A：有的，都在Jetson裏下載，GPIO很多，還有很多可以複用，你可以自己定義或者更改。
Q：只能用Jetpack4.2.2嗎？
A：版本可以自己選擇，但是我們推薦用最新的，因爲我們每6個月都有大版本的更新，同時有更多小版本更新，每次版本更新都會帶來很多新的feature，包括性能增強和優化。
Q：EasyDL迭代更新模型以後會怎麼收費？
A：這個陳老師解答一下。
陳老師：EasyDL目前專業版是訓練收費的，但是有100小時免費的時間，經典版目前訓練是免費的，根據設備授權方式不同會有不同的收費方式，具體可以看EasyDL的文檔，裏面都有詳細的價格說明。
在EasyDL迭代更新模型的時候不收費，在後期調用是根據你API調用，這是後付費，根據調用次數，如果部署SDK的話這是預付費模式，大家可以看EasyDL官網有價格文檔，有詳細介紹。
Q：DeepStream得到的ID數據可以拿到嗎？
A：可以拿到。
Q：沒明白DeepStream是用來幹什麼的，您解釋一下
A：DeepStream是一個框架，整合Jetson所有的硬件資源，給你做了高度的優化，比如不需要關注它們之間如何解碼的，內存如何傳遞的，只需要準備好自己的模型，選擇合適的配置去實現自己的視頻應用，就是做各種視頻的AI應用，整個框架搭建好了，你運行這個框架就可以得到很多，一個團隊需要半年或者一年迭代這樣一個工作。
Q：DeepStream是開源的嗎？
A：DeepStream我們目前基本上絕大多數的代碼都是開源的，有一部分小的庫是直接調用的，絕大部分都是開源的。
Q：好的，DeepStream和目標檢測有什麼區別？
A：DeepStream是一個框架，它支持分割模型，檢測、分類，包括以後會支持更多的模型應用，它是一個整體的框架，是PIPELINE框架，是高度優化的。
Q：如果大家想了解更多DeepStream，在哪裏可以看到使用文檔嗎？
A：我們的官網裏針對DeepStream有專門的頁面，裏面會有開發文檔和sample文檔，包括原碼介紹和應用案例，很多可以直接拉下來看到效果。
Q：大家想了解更多DeepStream，可以在官網上搜索一下。DeepStream對輸入的攝像頭有什麼要求嗎？
A：DeepStream目前支持USB攝像頭，MIPICSI，也支持RTSP，包括其他的攝像頭都支持，包括本地存儲的，像MP4，264的文件都支持，基本上常見的網絡文件多音頻文件都支持。
Q：有同學問一個模型還是多個模型分別處理多路視頻？
A：這個取決於你的實際應用如何配置，你可以選擇DeepStream運行多個模型，然後針對一個模型，也可以是不同的視頻匹配不同的模型，也可以是同樣一個視頻級聯多個模型，你可以任意組合。
Q：有同學問剛水果試的代碼哪裏可以下載？
A：這是我本次做了一個DEMO，如果後面方便的話我可以給大家分享出來，也是基於DeepStream已有的sample上做了一些簡單的更改。
Q：好的。DeepStream inference算法怎麼換成自己的算法？
A：這一部分如果你更換算法，你需要自己封裝一個plugin，同時你對上一級的inference輸出，比如識別某個類別的object，針對這個object做一個bbox，把這部分的數據通過metadata，給了一個接口傳遞到最後一層，拿到這個數據就可以直接跑自己封裝好的算法。
Q：好，有同學問現在買到TX2是已經安裝在jetpack嗎？
A：正常的我們的devkit是帶jetpack的，但是可能是發貨時的版本，有的模組是比較全新的，裏面沒有，你可以自己刷一下，非常的簡單，官網都有各種教程。
據我所知從EasyDLTX2軟硬一體方案，拿到這TX2是不拆機的，你需要有一個刷機的過程。
Q：官網有教程DeepStream和PaddlePaddle是同一類東西嗎？
A：PaddlePaddle是非常大的框架，有點類似於tensorflow，DeepStream是一個inference的框架。
Q： TX2刷機包括DeepStream嗎？
A：你可以刷機的時候勾選到DeepStream，可以自己裝好，如果不勾選可以通過單獨的DEB或者原碼的方式安裝都可以。
Q：DeepStream可以結合深度學習嗎？
A：可以，目前已經有相關的案例可以參考。
Q：怎麼才能知道jetpack裝好了呢？
A：比較簡單的就是你直接查上顯示器，如果有界面就安裝好了，如果沒有刷機一下，你可以接着安裝。
Q：DeepStream是專門用來做計算機視覺的嗎？
A：你可以這麼認爲，而且我們收集了各個行業的視頻的應用，解決大家從0到1開發的過程，給大家做好了這樣的框架，如果用DeepStream很多常見的IVE應用直接可以拿DeepStream做產業應用直接部署，不需要再做很多的開發。
Q：好。DeepStream後面會支持YOLOV4嗎？
A：應該會，現在DeepStream已經有YOLO2、3，包括更新的版本，直接可以運行，已經做好了，後面會加YOLOV4。
Q：這些資料有沒有一些中文版的？
A：暫時沒有。
Q：DeepStream有其他語言的接口和包嗎？
A：有Python版本。
Q：自己開發的模型可以放在DeepStream中嗎？
A：可以。DeepStream就是提供一個完整的框架，給了很多的例子，其實還是希望用戶把作爲精力放在模型上面，框架我們已經給了，剩下就是你把模型換成自己需要的模型直接解決視頻問題就可以。
關於視頻的回放地址，大家可以在B站，百度大腦賬號裏就可以看到各種課程的回放，大概會在隔天上傳，這也是取決於B站審覈時間來看，我們會盡快上傳。
Q：老師您這邊使用是C++還是PYTHON？
A：今天的DEMO世界是用C++，大部分的AI應用都是混合的開發，編譯的時候肯定會用到CUDA或者CPP，但是用Deepstream的話，只涉及到C++就可以了，如果用python接口直接用python就可以。
Q：DeepStream是應用到點雲檢測方面的檢測嗎？
A：點雲你可以瞭解一下isaac，DeepStream主要是處理視頻相關的應用，關於點雲在一些robot或者無人車機器人上面用，isaac裏面有更多的優化，包括SDKsample供大家做二次開發。
Q：瞭解。4.0和5.0版本有什麼差異？
A：5.0版本首先對python進一步做了完善，Docker應用做了更強，增加了新的案例和參考例子，詳細可以看一下5.0裏有詳細的說明。
Q：JetsonNano可以進行模型訓練嗎？
A：可以，但是不建議，因爲Nano不適合做訓練，因爲時間太長，而且內存比較適合做inference。
Q：DeepStream在視覺導航方面有應用嗎？
A：視覺導航建議瞭解isaacSDK，它主要解決這個問題，DeepStream主要是解決比較統一或者純粹的高度一致的視頻+AI，就是推理相關的應用，屬於兩個不同的行業應用範圍，瞭解一下isaac。
Q：EasyDL怎麼裝到DeepStream上？
A：本次的例子是用EasyDL訓練模型，inference用的是DeepStream，至於EasyDL更多的應用陳老師這邊介紹一下。
陳老師：我補充一下，後續我們會在EasyDL發佈官方的DeepStream支持，大家從DeepStream官方平臺支持下來的EasyDL都是針對DeepStream封裝好的，大家可以像現在的SDK一樣，一鍵就可以跑起來，這個後續會發布，大家可以關注一下。
Q：可以接海康大華攝像頭進行處理嗎？
A：可以，海康大華攝像頭結合DeepStream用的比較常見，也用的非常多。
Q：請您解釋一下您剛纔說的inference是什麼意思？
A：通俗點就是跑各種神經網絡深度學習模型，就是做推理的意思。
Q：請您介紹一下NVIDIA有幾種型號的計算卡，分別算力都是多少？
A：這次主要介紹Jetson應用，我主要介紹一下，至於大卡型號非常多，可以在官網上得到更專業的諮詢。Jetson目前主流有Nano、TX2，NX，Xavier，Xavier有8G、16G、32G，算力從0.5T到1.3T，到NX21T，Xavier32T都有不同的覆蓋，可以根據不同的應用選擇不同的版本，接口都是統一的。
Q：剛纔說Nano不太適合模型訓練，TX2適合訓練嗎？
A：Jetson主要針對邊緣端的應用，也就是主要針對推理的應用，訓練更關注的是吞吐量以及效率，更多的訓練相當於是一次投入，inference可以是多次，如果你拿一個應用做推理的性能設備做訓練應該是得不償失，不太適合。
Q：DeepStream是解決了什麼樣的痛點呢？
A：簡單舉個例子，如果你想做人臉識別應用，你需要特定的設備獲取圖像和第三方數據，首先解決這個數據如何獲取，獲取以後怎麼訪問，先要解碼，而這個解碼不具備相關的知識不太清楚怎麼解，不同的格式，不同視頻封裝多對應不同的解碼方式，同時你還要調動硬件解，如果只是CPU解碼，效率非常低。解碼以後數據如何傳遞到GPU，這個之前還要做預處理，預處理怎麼做，如何做到高效，從攝像頭出來的數據到GPU，中間是不是要做很多的內存搬運以及相關的操作，以及前期處理如何用GPU，如何用VIC，如何用decode，這些對於只關注AI計算或者深度學習應用的人來說相當於不同領域，對他們來說非常困難。可能當你把所有環節打通時候，發現你是全能的專家，不再是侷限於AI的工程師或者是開發人員。DeepStream就相當於解決了很多依賴於平臺或者其他領域相關知識的應用，可能並不跟AI或者inference相關。
Q：人體跟蹤可以用DeepStream嗎？
A：可以。我們已經實現了三個跟蹤相關的算法，IOU，KLC，還有一個NVKCF，而且都已經封裝好，做簡單的配置就可以直接用，也有已經做好的DEMO，你可以看一下效果。
Q：有支持雙眼視覺的案例嗎？
A：這個並沒有，可以看一下isaac相關應用，那邊比較做雙目相關應用，因爲DeepStream更多的是拿到非常常見的正常的視頻數據做處理，如果像雙目這個一般做測距或者點雲或者其他的，isaac裏涉及比較多，你可以瞭解一下。
介紹一下EasyDL和NVIDIA合作軟硬一體方案，現在是已經在百度AI上上架，價格非常合適，全網最低，左側是EasyDLJetsonNano軟硬一體方案，原價1099，現在是800。中間是EasyDLJetsonTX2軟硬一體方案，原價3500，現價320，右邊是EasyDLJetsonXavier，原價5999，現價是5600。買到就是賺到！
如果你在之前已經買到了NVIDIA硬件，無論是哪款，首先在EasyDL平臺訓練完模型以後，發佈是專項部署SDK，硬件時候宣傳下面JetsonNano，TX2，EasyDL專用的，右上角有一個控制檯，然後點擊藍色的新增序列號，目前只有三個月的有效期，之後會上線SDK的購買，大家可以根據自己的需求進行SDK購買。
如果你想直接購買EasyDLJetsonJetsonNano/TX2/Xavier，可以在百度市場搜索EasyDL，找到這個軟硬一體方案，現在是全網最低的優惠折扣。購買以後將會獲得Jetson硬件和用於激活專用SDK的專用序列號，在EasyDL訓練專項適配Jetson圖像分類或者物體檢測模型以後，可以逐步迭代模型，滿足業務需求，發佈模型時候選擇專項硬件適配SDK，Jetson專用SDK，這個時候可以在右側看到如何激活的按鈕，進入以後看到激活文檔，參考文檔進行部署集成以後可以實現離線AI預測。
具體的激活方式，大家可以掃描屏幕右側的二維碼直接進入。我這裏說幾個需要注意的地方，安裝環節建議是JETPACK4.2.2，首次使用SDK需要聯網激活，接口調用流程，有序列號，配置目錄，創建和初始化EASYDL，最後一步是圖像，具體大家可以看一下昨天的課程回放，講師在直播中一步一步帶大家操作了如何快速部署Jetson Nano。
下期預告，會來到領域信息處理專場，6月2號到6月3號是CV主題，6月9到6月10是NLP，下週二是晚8點主題是如何使用EasyDL構建互聯網內容安全方案，講師是百度AI技術生態部高級產品經理Nathan。6月3日晚8點，主題是EasyDL軟硬一體方案在膀胱癌診斷上的應用，講師是武漢大學人民醫院泌尿外科博士楊瑞。
如果大家對EasyDL-Jetson系列產品感興趣，可以直接掃描對應商品的二維碼進入商品頁進行詳細瞭解，也可以在百度AI市場搜索“EasyDL”查看多種軟硬一體方案。
【下期預告】
下一期將會來到領域信息處理專場公開課，內容覆蓋CV與NLP，會有來自百度的高級產品經理、來自武漢大學的外科博士現身直播間，爲大家從技術解析到實戰應用，深度解析AI產業應用的痛點難點！
想要快速提升自己，轉型AI應用專家的小夥伴，一定不要錯過哦！下週課程海報：
