c++人臉識別-vs2017 + dlib19.19

dlib下載和編譯

從官網下載最新版的壓縮包，解壓到指定目錄
安裝cmake，我使用的是cmake-3.10.0-rc1-win64-x64版本
在cmake的bin目錄下找到"cmake-gui.exe"運行，如圖進行設置
如果一切順利的話，在你的build目錄下會生成vs的工程文件，目錄結構如下：
使用vs2017打開剛纔生成的工程文件，選擇Release版本進行編譯。（Debug模式也行，但是在後續的使用過程中會慢的懷疑人生，而且Debug版本有88M，Release版本只有21M）

人臉識別工程配置

vs2017中新建一個基於控制檯的c++工程，默認你已經安裝opencv
選擇"項目"->“屬性”，配置項目依賴的頭文件和庫文件
- 設置包含的目錄，需要設置"包含目錄"和"庫目錄"，確認"平臺"是x64(因爲上一步編譯的dlib是x64版本的，同理如果建立的是x86版本的，則上一步cmake的時候需要選擇x86的編譯器)
  包含目錄中輸入你的dlib和opencv頭文件的目錄路徑。注意：dlib的包含路徑只需要包含到dlib-19.19這個目錄，不需要將dlib這個文件夾包含進去
  
  庫目錄設置：
- 在工程屬性頁中選擇"連接器"->“輸入”，打開"附加依賴項"，輸入依賴的*.lib文件名

準備識別所需的模型文件和準備數據

dlib已經提供了訓練好的模型文件，需要下載兩個文件分別用於檢測和識別，可以在這裏下載：https://github.com/davisking/dlib-models，下載shape_predictor_68_face_landmarks.dat和dlib_face_recognition_resnet_model_v1.dat
下載好後放到自定義的文件夾中，比如我放在了工程目錄下的model文件夾中
準備幾張人臉圖片，我找了大冪冪、穎寶和張鈞甯的圖片各一張，當數據集。我放在了data文件夾中(隨便找個文件夾放)

人臉識別原理簡述

檢測出圖片中的人臉
將人臉送入特徵提取器得到人臉特徵，這裏得到的是一個128維的特徵
分別提取數據集中的人臉特徵，得到特徵數據集
攝像頭得到一張新圖片，經過檢測器->特徵提取器得到新圖片的人臉特徵
計算新特徵到特徵數據集中各個向量的距離，取最小值
預定義一個閾值，如果最小值大於閾值則新圖片不在數據集中，否則找到該特徵對應的標籤輸出

代碼實現

說明：只做爲演示demo使用，沒有做任何異常處理和輸入/輸出處理，路徑已經全部寫死請更改爲自己的路徑，或者使用cin>>輸入。代碼參考了https://blog.csdn.net/sinat_35907936/article/details/88765314這篇博文，我做了重構，對作者表示感謝！

#include "pch.h"
#include <iostream>
#include <cstdio>
#include <vector>
#include <algorithm>

#include <opencv2/highgui/highgui.hpp>  
#include <opencv2/imgproc/imgproc.hpp>  
#include <opencv2/core/core.hpp>  

#include <dlib/dnn.h>
#include <dlib/gui_widgets.h>
#include <dlib/clustering.h>
#include <dlib/string.h>
#include <dlib/image_io.h>
#include <dlib/image_processing/frontal_face_detector.h>
#include <dlib/opencv.h>


using namespace cv;
using namespace dlib;
using namespace std;

// 聲明resnet
template <template <int, template<typename>class, int, typename> class block, int N, template<typename>class BN, typename SUBNET>
using residual = add_prev1<block<N, BN, 1, tag1<SUBNET>>>;

template <template <int, template<typename>class, int, typename> class block, int N, template<typename>class BN, typename SUBNET>
using residual_down = add_prev2<avg_pool<2, 2, 2, 2, skip1<tag2<block<N, BN, 2, tag1<SUBNET>>>>>>;

template <int N, template <typename> class BN, int stride, typename SUBNET>
using block = BN<con<N, 3, 3, 1, 1, relu<BN<con<N, 3, 3, stride, stride, SUBNET>>>>>;

template <int N, typename SUBNET> using ares = relu<residual<block, N, affine, SUBNET>>;
template <int N, typename SUBNET> using ares_down = relu<residual_down<block, N, affine, SUBNET>>;

template <typename SUBNET> using alevel0 = ares_down<256, SUBNET>;
template <typename SUBNET> using alevel1 = ares<256, ares<256, ares_down<256, SUBNET>>>;
template <typename SUBNET> using alevel2 = ares<128, ares<128, ares_down<128, SUBNET>>>;
template <typename SUBNET> using alevel3 = ares<64, ares<64, ares<64, ares_down<64, SUBNET>>>>;
template <typename SUBNET> using alevel4 = ares<32, ares<32, ares<32, SUBNET>>>;

using anet_type = loss_metric<fc_no_bias<128, avg_pool_everything<
	alevel0<
	alevel1<
	alevel2<
	alevel3<
	alevel4<
	max_pool<3, 3, 2, 2, relu<affine<con<32, 7, 7, 2, 2,
	input_rgb_image_sized<150>
	>>>>>>>>>>>>;

// 定義dlib人臉識別相關變量
frontal_face_detector detector = get_frontal_face_detector();
shape_predictor predictor;
anet_type net;


std::vector<matrix<float, 0, 1>> GetFaceFeature(matrix<rgb_pixel> img)
{
	std::vector<matrix<float, 0, 1>> features;
	std::vector<dlib::rectangle> dets = detector(img);  //用dlib自帶的人臉檢測器檢測人臉，然後將人臉位置大小信息存放到dets中		
	std::vector<matrix<rgb_pixel>> faces;//定義存放截取人臉數據組
	for (auto const& det : dets)
	{
		auto shape = predictor(img, det);
		matrix<rgb_pixel> face_chip;
		extract_image_chip(img, get_face_chip_details(shape, 150, 0.25), face_chip);//截取人臉部分，並將大小調爲150*150
		faces.push_back(move(face_chip));
	}

	std::vector<matrix<float, 0, 1>> face_descriptors = net(faces);//將150*150人臉圖像載入Resnet殘差網絡，返回128D人臉特徵存於face_descriptors	
	for (auto const& feature : face_descriptors)
	{
		features.push_back(feature);
	}

	return features;
}

std::vector<matrix<float, 0, 1>> CreateDataset()
{
	std::vector<matrix<float, 0, 1>> vec;
	std::vector<string> fileNames = { "data//yangmi.jpeg", "data//zhangjun.JPG", "data//zhaoliying.jpeg", "data//dabai.JPG" };
	for (int k = 0; k < fileNames.size(); k++)  //依次加載完圖片庫裏的文件
	{
		matrix<rgb_pixel> img;
		cv::Mat image = cv::imread(fileNames[k]);
		dlib::assign_image(img, cv_image<rgb_pixel>(image));		
		std::vector<matrix<float, 0, 1>> features = GetFaceFeature(img);
		if (features.size() < 1)
			cout << "There is no face" << endl;
		else if (features.size() > 1)
			cout << "There is to many face" << endl;
		else
			vec.push_back(features[0]);
	}
	return vec;
}

std::vector<int> GetLabelIndex(std::vector<matrix<float, 0, 1>> features, std::vector<matrix<float, 0, 1>> predict_value)
{
	std::vector<int> id_array;
	for (int i = 0; i < predict_value.size(); i++)
	{
		float min_dis = 10000;
		int face_id = -1;
		for (int j = 0; j < features.size(); j++)
		{
			float dis = (float)length(predict_value[i] - features[j]);
			if (min_dis > dis)
			{
				min_dis = dis;
				face_id = j;
			}
		}

		if (min_dis > 0.5)
			face_id = -1;

		id_array.push_back(face_id);
	}
	return id_array;
}

int CreameraTest()
{
	// 創建數據集
	std::vector<string> label = { "yangmi", "zhangjun", "yinbao", "dabai" };
	std::vector<matrix<float, 0, 1>> vec = CreateDataset();

	// 打開攝像頭
	VideoCapture cap(0);
	if (!cap.isOpened())
	{
		return -1;
	}
	cv::Mat frame;

	bool stop = false;
	while (!stop)
	{
		cap >> frame;
		// cv::mat -> dlib::matrix
		matrix<rgb_pixel> img;
		array2d< bgr_pixel> arrimg(frame.rows, frame.cols);
		dlib::assign_image(img, cv_image<rgb_pixel>(frame));

		std::vector<dlib::rectangle> dets_test = detector(img);
		std::vector<matrix<float, 0, 1>> features;
		std::vector<matrix<rgb_pixel>> faces;//定義存放截取人臉數據組
		for (auto const& det : dets_test)
		{
			auto shape = predictor(img, det);
			matrix<rgb_pixel> face_chip;
			extract_image_chip(img, get_face_chip_details(shape, 150, 0.25), face_chip);//截取人臉部分，並將大小調爲150*150
			faces.push_back(move(face_chip));
		}

		std::vector<matrix<float, 0, 1>> face_descriptors = net(faces);//將150*150人臉圖像載入Resnet殘差網絡，返回128D人臉特徵存於face_descriptors	
		for (auto const& feature : face_descriptors)
		{
			features.push_back(feature);
		}

		std::vector<int> face_id = GetLabelIndex(vec, features);

		string name = "";
		for (int const& index : face_id)
		{
			if (index == -1)
				name = "other";
			else
				name = label[index];
		}

		// 繪製結果
		int font_face = cv::FONT_HERSHEY_COMPLEX;
		double font_scale = 1;
		int thickness = 2;
		int baseline;
		//獲取文本框的長寬
		cv::Size text_size = cv::getTextSize(name, font_face, font_scale, thickness, &baseline);
		for (int i = 0; i < dets_test.size(); i++)
		{
			//將文本框居中繪製
			cv::Point origin;
			cv::rectangle(frame, cv::Rect(dets_test[i].left(), dets_test[i].top(), dets_test[i].width(), dets_test[i].width()), cv::Scalar(0, 0, 255), 1, 1, 0);//畫矩形框
			origin.x = dets_test[i].left();
			origin.y = dets_test[i].top();
			cv::putText(frame, name, origin, font_face, font_scale, cv::Scalar(255, 0, 0), thickness, 2, 0);//給圖片加文字
		}
		imshow("當前視頻", frame);
		if (waitKey(30) >= 0)
			stop = true;
	}

	return 0;
}

int main()
{
	deserialize("model//shape_predictor_68_face_landmarks.dat") >> predictor;
	deserialize("model//dlib_face_recognition_resnet_model_v1.dat") >> net;

	CreameraTest();
	return 0;
}

數據集的照片：

運行截圖：

c++人臉識別-vs2017 + dlib19.19

dlib下載和編譯

人臉識別工程配置

準備識別所需的模型文件和準備數據

人臉識別原理簡述

代碼實現

vue項目獲取富文本編輯器wangEditor內容導出爲word（html轉word格式並下載）

dotnet C# 創建 X11 應用時設置窗口背景顏色

Navicat安裝與激活教程

TDengine docker安裝方法

vue3組件通信與props

sapui5

Alpine Linux apk add DNS lookup error

部分JDK版本的發佈時間

工作中用到的腳本合集

合併代碼時Beyond Compare設置

基於MSCNN的人羣密度估計之數據集製作

python裝飾器應用之keras數據生成器

基於MSCNN的人羣密度估計之生成人羣密度圖

python實現樹結構並顯示

日常填坑之keras.backend.ctc_batch_cost參數問題

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結