OpenVINO是英特爾基於自身現有的硬件平臺開發的一種可以加快高性能計算機視覺和深度學習視覺應用開發速度工具套件,支持各種英特爾平臺的硬件加速器上進行深度學習,並且允許直接異構執行。 支持在Windows與Linux系統,Python/C++語言。
主要特點:
1)在Intel平臺上提升計算機視覺相關深度學習性能達19倍以上
2)解除CNN-based的網絡在邊緣設備的性能瓶頸
3)對OpenCV,OpenXV*視覺庫的傳統API實現加速與優化
4)基於通用API接口在CPU、GPU、FPGA等設備上運行加上
OpenVINO工具包(ToolKit)主要包括兩個核心組件,模型優化器(Model Optimizer)和推斷引擎(Inference Engine)。
1)模型優化器支持的深度學習框架:
ONNX
TensorFlow
Caffe
MXNet
Kaldi
2)推斷引擎(Inference Engine)
推斷引擎(Inference Engine)支持硬件指令集層面的深度學習模型加速運行,同時對傳統的OpenCV圖像處理庫也進行了指令集優化,有顯著的性能與速度提升。
支持的硬件設備:
CPU
GPU
FPGA
VPU
1、OpenVINO安裝
1)下載Intel® OpenVINO™ Toolkit:
網址:https://software.intel.com/en-us/openvino-toolkit/choose-download
注意需要註冊一下。
2)安裝【最好安裝在默認路徑下】
雙擊:w_openvino_toolkit_p_2020.1.033.exe
如果缺少外部依賴項,則會看到警告屏幕。記下缺少的依賴項。此時不需要採取任何其他行動。安裝英特爾®分佈式OpenVINO™工具包核心組件後,將提供安裝缺少的依賴項的說明。下面的屏幕示例表明缺少一個依賴項:
繼續點擊“Next”,完成安裝。
安裝的第一部分完成後,最終屏幕會通知已安裝核心組件並仍需要執行其他步驟:
點擊“Finish”完成安裝。
2 、環境配置
官方配置方法:
1)首先確保軟件所依賴的其他條件都滿足:
2)設置環境變量
打開命令窗口,進入目錄:cd C:\Program Files (x86)\IntelSWTools\openvino\bin\
執行:setupvars.bat
這種設置只是在當前cmd窗口有效,一旦關閉cmd就失效了,下次需要重複這樣的操作。永久有效的方式是添加到環境變量Path。
“此電腦”->“右鍵屬性”->“高級系統設置”->“環境變量”->“系統變量”->“Path”中配置:
PYTHONPATH=C:\Program Files (x86)\IntelSWTools\openvino_2020.1.033\deployment_tools\open_model_zoo\tools\accuracy_checker;C:\Program Files (x86)\IntelSWTools\openvino_2020.1.033\python\python3.7;C:\Program Files (x86)\IntelSWTools\openvino_2020.1.033\python\python3;C:\Program Files (x86)\IntelSWTools\openvino_2020.1.033\deployment_tools\model_optimizer;
3)配置模型優化器(Model Optimizer)
模型優化器是OpenVINO英特爾發行版的關鍵組件™ 工具箱。如果不通過模型優化器運行模型,則無法對經過訓練的模型進行推斷。可以一次爲所有受支持的框架配置模型優化程序,也可以一次爲一個框架配置模型優化程序。選擇最適合需求的選項。如果看到錯誤消息,請確保已安裝所有依賴項。
注意:成功執行以下步驟需要Internet訪問權限。如果您只能通過代理服務器訪問Internet,請確保在的環境中配置了Internet。
3.1)同時爲所有支持的框架配置Model Optimizer:
運行:
C:\Program Files (x86)\IntelSWTools \openvino\deployment_tools\model_optimizer\install_prerequisites\install_prerequisites_onnx.bat
報錯如下:
解決:已安裝python3.4版本以上的,就不需要重新安裝。在安裝的python的python\scripts文件中查看是否有以下文件:pip.exe、pip3.6.exe,有則表明pip已經在安裝python的時候已經自帶。
將該路徑配置環境變量中。
將install_prerequisites.bat中的pip3改爲pip。
3.2)分別爲每個框架配置模型優化器:
轉到Model Optimizer先決條件目錄:
cd C:\Program Files (x86)\IntelSWTools\openvino_2020.1.033\deployment_tools\model_optimizer\install_prerequisites
對於Caffe:
install_prerequisites_caffe.bat
對於TensorFlow:
install_prerequisites_tf.bat
對於MXNet:
install_prerequisites_mxnet.bat
對於ONNX:
install_prerequisites_onnx.bat
對於Kaldi:
install_prerequisites_kaldi.bat
注意,如果安裝失敗,則修改對應的requirements_xxx.txt,添加下載源:
如將requirements_onnx.txt修改爲如下,添加清華下載源:
onnx==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
networkx==2.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
numpy==1.18.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
defusedxml==0.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
如果還是失敗,則單獨運行下列命令來安裝。
pip install onnx==1.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install networkx==2.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install numpy==1.18.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install defusedxml==0.6.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
3、例子編譯測試
進入C:\Program Files (x86)\IntelSWTools\openvino_2020.1.033\inference_engine\demos,發現有CMakeLists.txt文件,直接使用cmake進行編譯,即可正確生成工程。
如測試人體姿態部分,將Demo中,human_pose_estimation_demo設置爲啓動項,配置參數進行運行。
參數:-m /pose_model.xml -i /video/1.avi