Python調用海康威視網絡相機之——python調用海康威視C++的SDK

運行環境：

Win10系統，64位，Anaconda3

python 3.5.5(基於anaconda環境)

opencv 3.4.2 （早前就已經安裝了，本文不會講如何安裝）

Visual Studio 2015

硬件：DS-2CD3T56DWD-I5

相機SDK： CH-HCNetSDKV6.0.2.35_build20190411_Win64

---

準備工作：

之前常常採用python來讀取usb攝像頭，因爲其語言風格易讀且上手快。起先，使用rtsp流來讀海康的網絡相機，視頻畫面出現延遲卡頓的現象，如果對於實時性要求較高（起碼得和網頁預覽效果相當的幀率）的話，用rtsp流讀取的方式顯得不可取，本文采用在python中調用HikVision的SDK讀取IP相機的方式實現，幀率的話和網絡預覽效果相當。

python中調用C++形式的SDK， 首先是通過swig來封裝需要的庫。SDK給出的C++調用相機的實現算靠譜的了，所以嘗試用該方法解決攝像頭卡頓，畫面延遲問題。參考了一些文章，都較爲零零散散，因此想自己整理下分享給大家，包含了很多自己運行中出現的bug以及解決方法，具體步驟如下：

1、海康SDK下載

下載地址：https://www.hikvision.com/cn/download_61.html

選擇自己對應的系統平臺版本，我這邊選的是設備網絡SDK_Win64  （CH-HCNetSDKV6.0.2.35_build20190411_Win64.zip文件） ； 解壓後得到 CH-HCNetSDKV6.0.2.35_build20190411_Win64 文件夾；

該文件夾下主要是頭文件和庫文件。

 

2、安裝OpenCV

我安裝的是OpenCV3.4.2；（安裝方式參考其他文章）

解壓後的OpenCV需要將其bin路徑添加到系統環境變量path下；

3、安裝將Swig

Swig是用來封裝庫的，

下載鏈接：http://www.swig.org/download.html

我選擇的是3.0.12這個早期版本，將其解壓到如下目錄：

將 E:\App_install\swigwin-3.0.12路徑添加到系統環境變量path中；

4、下載boost庫

下載地址：https://www.boost.org/users/download/

我選擇的是 boost_1_70_0.zip （因爲本文主要是將win10環境下的）， 將其解壓到待會工程需要用的路徑下即可；此處隨意解壓到任意路徑即可，待會會將解壓後的文件夾拷貝到後面要說的路徑下即可~

5、下載OpenCV-swig接口文件

下載地址：https://github.com/renatoGarcia/opencv-swig

將其下載解壓：

我們主要會用到其目錄下lib文件夾中的文件opencv文件夾和opencv.i接口文件（下文會提到如何使用，暫且解壓就行）

---

實現方案：

1. 使用swig編譯生成python和c++數據交換需要的.py和.cxx文件

複製以下三個文件，保存到一個文件夾下，我將以下文件都放在 HicVision_python_SDK 新建文件夾下了

HKIPcamera.h

#include <opencv2/opencv.hpp>
using namespace cv;

void init(char* ip, char* usr, char* password);
Mat getframe();
void release();

HKIPcamera.cpp

#include <opencv\cv.h>
#include <opencv\highgui.h>
#include <opencv2\opencv.hpp>
#include <iostream>
#include <time.h>
#include <cstdio>
#include <cstring>
#include <iostream>
#include <windows.h>
#include "HCNetSDK.h"
#include "plaympeg4.h"

#define USECOLOR 1

using namespace cv;
using namespace std;

//--------------------------------------------
int iPicNum = 0;//Set channel NO.
LONG nPort = -1;
HWND hWnd = NULL;
CRITICAL_SECTION g_cs_frameList;
list<Mat> g_frameList;
LONG lUserID;
NET_DVR_DEVICEINFO_V30 struDeviceInfo;
HANDLE hThread;
LONG lRealPlayHandle = -1;

void yv12toYUV(char *outYuv, char *inYv12, int width, int height, int widthStep)
{
	int col, row;
	unsigned int Y, U, V;
	int tmp;
	int idx;
	for (row = 0; row < height; row++)
	{
		idx = row * widthStep;
		int rowptr = row * width;

		for (col = 0; col < width; col++)
		{
			tmp = (row / 2)*(width / 2) + (col / 2);
	
			Y = (unsigned int)inYv12[row*width + col];
			U = (unsigned int)inYv12[width*height + width * height / 4 + tmp];
			V = (unsigned int)inYv12[width*height + tmp];

			outYuv[idx + col * 3] = Y;
			outYuv[idx + col * 3 + 1] = U;
			outYuv[idx + col * 3 + 2] = V;
		}
	}
}

//解碼回調 視頻爲YUV數據(YV12)，音頻爲PCM數據
void CALLBACK DecCBFun(long nPort, char * pBuf, long nSize, FRAME_INFO * pFrameInfo, long nReserved1, long nReserved2)
{
	long lFrameType = pFrameInfo->nType;

	if (lFrameType == T_YV12)
	{
#if USECOLOR
		//int start = clock();
		static IplImage* pImgYCrCb = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);//得到圖像的Y分量  
		yv12toYUV(pImgYCrCb->imageData, pBuf, pFrameInfo->nWidth, pFrameInfo->nHeight, pImgYCrCb->widthStep);//得到全部RGB圖像
		static IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 3);
		cvCvtColor(pImgYCrCb, pImg, CV_YCrCb2RGB);
		//int end = clock();
#else
		static IplImage* pImg = cvCreateImage(cvSize(pFrameInfo->nWidth, pFrameInfo->nHeight), 8, 1);
		memcpy(pImg->imageData, pBuf, pFrameInfo->nWidth*pFrameInfo->nHeight);
#endif

		EnterCriticalSection(&g_cs_frameList);
		//g_frameList.push_back(pImg);
		g_frameList.push_back(cv::cvarrToMat(pImg));
		LeaveCriticalSection(&g_cs_frameList);
}


///實時流回調
void CALLBACK fRealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *pUser)
{
	DWORD dRet;
	switch (dwDataType)
	{
	case NET_DVR_SYSHEAD:    //系統頭
		if (!PlayM4_GetPort(&nPort)) //獲取播放庫未使用的通道號
		{
			break;
		}
		if (dwBufSize > 0)
		{
			if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
			//設置解碼回調函數 只解碼不顯示
			if (!PlayM4_SetDecCallBack(nPort, DecCBFun))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
			//打開視頻解碼
			if (!PlayM4_Play(nPort, hWnd))
			{
				dRet = PlayM4_GetLastError(nPort);
				break;
			}
		}
		break;

	case NET_DVR_STREAMDATA:   //碼流數據
		if (dwBufSize > 0 && nPort != -1)
		{
			BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
			while (!inData)
			{
				Sleep(10);
				inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
				OutputDebugString(L"PlayM4_InputData failed \n");
			}
		}
		break;
	}
}

void CALLBACK g_ExceptionCallBack(DWORD dwType, LONG lUserID, LONG lHandle, void *pUser)
{
	char tempbuf[256] = { 0 };
	switch (dwType)
	{
	case EXCEPTION_RECONNECT:    //預覽時重連
		printf("----------reconnect--------%d\n", time(NULL));
		break;
	default:
		break;
	}
}

bool OpenCamera(char* ip, char* usr, char* password)
{
	lUserID = NET_DVR_Login_V30(ip, 8000, usr, password, &struDeviceInfo);
	if (lUserID == 0)
	{
		cout << "Log in success!" << endl;
		return TRUE;
	}
	else
	{
		printf("Login error, %d\n", NET_DVR_GetLastError());
		NET_DVR_Cleanup();
		return FALSE;
	}
}
DWORD WINAPI ReadCamera(LPVOID IpParameter)
{
	//---------------------------------------
	//設置異常消息回調函數
	NET_DVR_SetExceptionCallBack_V30(0, NULL, g_ExceptionCallBack, NULL);

	//cvNamedWindow("Mywindow", 0);
	//cvNamedWindow("IPCamera", 0);

	//HWND  h = (HWND)cvGetWindowHandle("Mywindow");
	//h = cvNamedWindow("IPCamera");
	//---------------------------------------
	//啓動預覽並設置回調數據流 
	NET_DVR_CLIENTINFO ClientInfo;
	ClientInfo.lChannel = 1;        //Channel number 設備通道號
	ClientInfo.hPlayWnd = NULL;     //窗口爲空，設備SDK不解碼只取流
	ClientInfo.lLinkMode = 1;       //Main Stream
	ClientInfo.sMultiCastIP = NULL;

	LONG lRealPlayHandle;
	lRealPlayHandle = NET_DVR_RealPlay_V30(lUserID, &ClientInfo, fRealDataCallBack, NULL, TRUE);
	if (lRealPlayHandle < 0)
	{
		printf("NET_DVR_RealPlay_V30 failed! Error number: %d\n", NET_DVR_GetLastError());
		return -1;
	}
	else
		cout << "碼流回調成功！" << endl;
	Sleep(-1);
	if (!NET_DVR_StopRealPlay(lRealPlayHandle))
	{
		printf("NET_DVR_StopRealPlay error! Error number: %d\n", NET_DVR_GetLastError());
		return 0;
	}
	NET_DVR_Logout(lUserID);
	NET_DVR_Cleanup();
	return 0;
}


void init(char* ip, char* usr, char* password) {
	//HANDLE hThread;
	//LPDWORD threadID;
	//---------------------------------------
	// 初始化
	NET_DVR_Init();
	//設置連接時間與重連時間
	NET_DVR_SetConnectTime(2000, 1);
	NET_DVR_SetReconnect(10000, true);
	OpenCamera(ip, usr, password);
	InitializeCriticalSection(&g_cs_frameList);
	hThread = ::CreateThread(NULL, 0, ReadCamera, NULL, 0, 0);
}

Mat getframe() {
	Mat frame1;
	EnterCriticalSection(&g_cs_frameList);
	while (!g_frameList.size()) {
		LeaveCriticalSection(&g_cs_frameList);
		EnterCriticalSection(&g_cs_frameList);
	}
	list<Mat>::iterator it;
	it = g_frameList.end();
	it--;
	Mat dbgframe = (*(it));
	(*g_frameList.begin()).copyTo(frame1);
	frame1 = dbgframe;
	g_frameList.pop_front();
	//imshow("camera", frame1);
	//waitKey(1);

	g_frameList.clear();   // 丟掉舊的幀
	LeaveCriticalSection(&g_cs_frameList);
	return(frame1);
}

void release() {
	::CloseHandle(hThread);
	NET_DVR_StopRealPlay(lRealPlayHandle);
	//關閉預覽
	NET_DVR_Logout(lUserID);
	//註銷用戶
	NET_DVR_Cleanup();
}

HKIPcamera.i

/*  Example of wrapping a C function that takes a C double array as input using
 *  numpy typemaps for SWIG. */
%module HKIPcamera
%include <opencv/mat.i>
%cv_mat__instantiate_defaults
%header %{
    /*  Includes the header in the wrapper code */
    #include "HKIPcamera.h"
%}

%include "HKIPcamera.h"

將上面提及的opencv-swig-master\lib下的opencv文件夾和opencv.i 這兩個文件複製到 HicVision_python_SDK文件夾下，然後將解壓的boost_1_70_0文件夾也一併拷貝到這個目錄下了（其中test文件夾我也一併拷貝過來了，不確定有沒有用到，理論上用不上，放着不管了~）

使用如下指令：

E:\Win32-MFC-Projects\HicVision_python_SDK>swig -IE:/App_install/opencv3_4_2/opencv/build/include -python -c++ HKIPcamera.i

 需要你cmd切到HicVision_python_SDK 這個文件夾下，然後用上面的指令，指定你opencv安裝的頭文件路徑，會生成上圖所示的HKIPcamera_wrap.cxx 和 HKIPcamera.py 兩個文件 （下文用到）；

---

2、修改海康SDK下的plaympeg4.h文件

該文件在CH-HCNetSDKV6.0.2.35_build20190411_Win64 \ include 目錄下：

extern "C" __declspec(dllexport)的"C"和__之間需要增加空格，否則會導致編譯報錯。即：

 

3、用VS2015編譯生成動態鏈接庫文件

新建win32控制檯應用 工程，取消選擇"安全開發生命週期（SDL）檢測"；

應用程序設置頁參考如下：

在資源方案管理器頁將如下圖所示的文件導入，即將上文提到的生成的文件拷貝到項目中（我這邊起名爲HKIPcamera項目名，建議一致）；

我編譯的平臺是release x64下的，因此將配置該平臺環境的屬性頁

其中VC++目錄->包含目錄中添加如下頭文件路徑：（請根據實際安裝位置補全其全路徑名稱，我這邊省去了安裝路徑名了~）

Anaconda3\include
Anaconda3\Lib\site-packages\numpy\core\include
HicVision_python_SDK\boost_1_70_0
CH-HCNetSDKV6.0.2.35_build20190411_Win64\include
opencv3_4_2\opencv\build\include\opencv2
opencv3_4_2\opencv\build\include\opencv
opencv3_4_2\opencv\build\include

其中VC++目錄->庫目錄中添加如下庫的路徑：（自行補全實際安裝全路徑名）

Anaconda3\libs
HicVision_python_SDK\boost_1_70_0\libs
CH-HCNetSDKV6.0.2.35_build20190411_Win64\lib
CH-HCNetSDKV6.0.2.35_build20190411_Win64\lib\HCNetSDKCom
opencv3_4_2\opencv\build\x64\vc14\lib

預處理器->預處理器定義中內容如下：

WIN32
NDEBUG
_CONSULE
_CRT_SECURE_NO_WARNINGS

且在通用屬性->常規->字符集中選擇使用多字節字符集（這個依據實際錯誤情況來修改，我是遇到這方面的問題，此處僅做補充）

C/C++->代碼生成->運行庫選的是多線程DLL（/MD）

鏈接器->輸入->附加依賴項中添加： opencv_world342.lib  （release下是這個，debug下需要改爲opencv_world342d.lib）

HCNetSDK.lib
GdiPlus.lib
HCAlarm.lib
HCCore.lib
HCGeneralCfgMgr.lib
HCPreview.lib
PlayCtrl.lib

完成以上步驟後，右鍵工程項目名選擇生成，之後會在工程x64文件夾下的Release文件夾下生成.dll和.lib文件如下（紅色）：

複製一份 HKIPcamera.dll 文件並重命名爲 _HKIPcamera.pyd到該目錄下，並將海康SDK中的 HCNetSDKCom 文件夾拷貝過來（這個步驟很重要！！！！），以及將上文中用swig生成的HKIPcamera.py 也複製過來（如上圖藍色）

最後編寫了個test.py也放在上圖目錄下，其內容如下（主要用來檢測是否編譯成功了）：

import HKIPcamera
import time
import numpy as np
import matplotlib.pyplot as plt
import cv2


ip = str('10.167.93.111')  # 攝像頭IP地址，要和本機IP在同一局域網
name = str('admin')       # 管理員用戶名
pw = str('abcd1234')        # 管理員密碼
HKIPcamera.init(ip, name, pw)
# HKIPcamera.getfram()
#for i in range(100):
while(True):
    t = time.time()
    fram = HKIPcamera.getframe()
    t2 = time.time()
    cv2.imshow('123', np.array(fram))
    cv2.waitKey(1)
    print(t2-t)
    time.sleep(0.1)
HKIPcamera.release()
time.sleep(5)
HKIPcamera.init(ip, name, pw)

在anaconda的prompt控制檯下運行該test.py，會看到python調用SDK的實時畫面，其延遲性同網頁預覽版差不多。但比rtsp流讀取的效果好很多~

至此成功！

---

相關錯誤以及解決方案：

一.無法打開 python35_d.lib 的問題

參考：https://blog.csdn.net/zhuxukang/article/details/79614335

在Anaconda3->libs目錄下只有python35.lib，即我們安裝的python3.5是非調試版，因此編譯時最好用release版的，解決方法1：將python35.lib複製一份並重命名爲python35_d.lib保存到相同目錄下（我試了不可行，可能你可嘗試）；

解決方法2：在Anaconda3->include下找到pyconfig.h文件，對其做如下修改：

註釋掉（358-360的內容）；更改315行內容；

二. 不能將參數 1 從“const char [12]”轉換爲“const wchar_t *”

報錯的位置是下圖，網上https://blog.csdn.net/yeahoodfox/article/details/42172729 的解決方式是在屬性頁中設置字符集爲未設置，可無法解決我的問題，索性我將其註釋掉了~沒問題。

三.AttributeError: module 'HKIPcamera' has no attribute 'init'

在運行test.py時你會遇到這個問題，那麼你需要將SDK的HCNetSDKCom 文件夾拷貝到test.py所在文件路徑下。

四：1>pythonIniti.obj : error LNK2019: 無法解析的外部符號 __imp___Py_NegativeRefcount，該符號在函數 "public: __thiscall boost::python::api::object_base::~object_base(void)" (??1object_base@api@python@boost@@QAE@XZ) 中被引用
1>pythonIniti.obj : error LNK2001: 無法解析的外部符號 __imp___Py_RefTotal

解決方法是：修改頭文件object.h，註釋掉第56行：註釋掉pyconfig.h中的define Py_DEBUG

(參考：https://www.jb51.net/article/108588.htm)

 

 

 

參考：Python調用海康SDK實時顯示網絡攝像頭   和 Windows下Python調用海康SDK實時顯示網絡攝像頭（這兩文章在講如何生成動態鏈接庫時就一筆帶過~）

           Python調用C++函數 （有助於理解swig的用法）

           linux下python調用海康SDK實時顯示網絡攝像頭 （本文借鑑了其test.py程序，用來最後驗證調用可行性

          HikVison SDK: C++ 至Python （這篇寫的真不錯，推薦）